Compartir vía


Obtención de datos de Amazon S3

En este artículo, aprenderá a obtener datos de Amazon S3 en una tabla nueva o existente. Amazon S3 es un servicio de almacenamiento de objetos creado para almacenar y recuperar datos.

Para obtener más información sobre Amazon S3, consulte ¿Qué es Amazon S3?.

Prerrequisitos

Fuente

  1. En la cinta inferior de la base de datos KQL, seleccione Obtener datos.

    En la ventana Obtener datos, se selecciona la pestaña Origen.

  2. Seleccione el origen de datos de la lista disponible. En este ejemplo, va a ingerir datos de Amazon S3.

    Captura de pantalla de la ventana Obtener datos con la pestaña origen seleccionada.

Configuración

  1. Seleccione una tabla de destino. Si desea ingerir datos en una nueva tabla, seleccione +Nueva tabla y escriba un nombre de tabla.

    Nota

    Los nombres de tabla pueden tener hasta 1024 caracteres, incluidos espacios, alfanuméricos, guiones y caracteres de subrayado. No se admiten caracteres especiales.

  2. En el campo URI, pegue la cadena de conexión de un único cubo o un objeto individual en el formato siguiente.

    Cubo: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    Opcionalmente, puede aplicar filtros de cubo para filtrar datos según una extensión de archivo específica.

    Captura de pantalla de la pestaña configurar con la nueva tabla especificada y una cadena de conexión de Amazon S3 pegada.

  3. Seleccione Siguiente.

Inspeccionar

La pestaña Inspeccionar se abre con una vista previa de los datos.

Para completar el proceso de ingesta, seleccione Finalizar.

Captura de pantalla de la pestaña inspeccionar.

Opcionalmente:

Editar columnas

Nota

  • En el caso de formatos tabulares (CSV, TSV, PSV), no se puede asignar una columna dos veces. Para asignar a una columna existente, elimine primero la nueva columna.
  • No se puede cambiar un tipo de columna existente. Si intenta asignar a una columna con otro formato, puede acabar con columnas vacías.

Los cambios que puede realizar en una tabla dependen de los parámetros siguientes:

  • El tipo de tabla es nuevo o existente
  • El tipo de asignación es nuevo o existente
Tipo de tabla Tipo de mapeo Ajustes disponibles
Nueva tabla Nuevo mapeo Cambiar el nombre de la columna, cambiar el tipo de dato, cambiar el origen de datos, transformación de mapeo , agregar columna, eliminar columna.
Tabla existente Nuevo mapeado Agregar columna (en la que puede cambiar el tipo de datos, cambiar el nombre y actualizar)
Tabla existente Asignación existente ninguno

Captura de pantalla de las columnas abiertas para su edición.

Transformaciones de mapeo

Algunas asignaciones de formato de datos (Parquet, JSON y Avro) admiten transformaciones sencillas durante el ingreso de datos. Para aplicar transformaciones de asignación, cree o actualice una columna en la ventana Editar columnas.

Las transformaciones de mapeo se pueden realizar en una columna de tipo string o datetime, donde el origen tiene el tipo de datos int o long. Las transformaciones de asignación que se admiten son las siguientes:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opciones avanzadas basadas en el tipo de datos

Tabular (CSV, TSV, PSV):

  • Si va a ingerir formatos tabulares en una tabla existente, puede seleccionar Opciones avanzadas>Mantener esquema de tabla. Los datos tabulares no incluyen necesariamente los nombres de columna que se usan para asignar datos de origen a las columnas existentes. Cuando se activa esta opción, la asignación se realiza por orden y el esquema de tabla es el mismo. Si esta opción está desactivada, se crean nuevas columnas para los datos entrantes, independientemente de la estructura de datos.

  • Para usar la primera fila como nombres de columna, seleccione Avanzado>La primera fila es el encabezado de la columna.

    Captura de pantalla de opciones avanzadas de CSV.

JSON:

  • Para determinar la división de columnas de los datos JSON, seleccione Avanzado>Niveles anidados, del 1 al 100.

  • Si selecciona Opciones avanzadas>Omitir líneas JSON con errores, los datos se ingieren en formato JSON. Si deja esta casilla sin seleccionar, los datos se ingieren en formato multijson.

    Captura de pantalla de opciones avanzadas de JSON.

Resumen

En la ventana Preparación de datos, los tres pasos se marcan con marcas de verificación verdes cuando la ingesta de datos finaliza correctamente. Puedes seleccionar una tarjeta para realizar una consulta, eliminar los datos ingeridos o ver un panel de control con el resumen de tu ingesta.

Captura de pantalla de la página de resumen con la ingestión exitosa completada.