Asignaciones de ingesta
Se aplica a: ✅Microsoft Fabric✅Azure Data Explorer
Las asignaciones de ingesta se usan durante la ingesta para asignar datos entrantes a columnas dentro de tablas.
Data Explorer admite diferentes tipos de asignaciones, orientadas a filas (CSV, JSON, AVRO y W3CLOGFILE) y orientadas a columnas (Parquet y ORC).
Las asignaciones de ingesta se pueden crear previamente y se puede hacer referencia desde el comando ingest mediante ingestionMappingReference parámetros. La ingesta es posible sin especificar una asignación. Para obtener más información, consulte asignación de identidades.
Cada elemento de la lista de asignación se construye a partir de tres campos:
| Propiedad | Obligatorio | Descripción |
|---|---|---|
| Columna | ✔️ | Nombre de columna de destino en la tabla. |
| Datatype | Tipo de datos con el que se va a crear la columna asignada si aún no existe en la tabla. | |
| Propiedades | Contenedor de propiedades que contiene propiedades específicas para cada asignación, tal como se describe en cada página de tipo de asignación específica. |
Importante
Para la ingesta en cola:
- Si la tabla a la que se hace referencia en la asignación no existe en la base de datos, se crea automáticamente, dado que se especifican tipos de datos válidos para todas las columnas.
- Si no existe una columna a la que se hace referencia en la asignación en la tabla, se agrega automáticamente a la tabla como la última columna en la primera vez que se ingieren datos para esa columna, dado que se especifica un tipo de datos válido para la columna. Para agregar nuevas columnas a una asignación, use el comando .alter ingestion mapping .
- Los datos se procesan por lotes mediante propiedades de ingesta. Las propiedades de asignación de ingesta más distintas usadas, como los distintos valores de ConstValue, más fragmentados se convierten en la ingesta, lo que puede provocar una degradación del rendimiento.
Tipos de asignación admitidos
En la tabla siguiente se definen los tipos de asignación que se usarán al ingerir o consultar datos externos de un formato específico.
| Formato de datos | Tipo de asignación |
|---|---|
| CSV | Asignación de CSV |
| TSV | Asignación de CSV |
| TSVe | Asignación de CSV |
| PSV | Asignación de CSV |
| SCSV | Asignación de CSV |
| SOHsv | Asignación de CSV |
| TXT | Asignación de CSV |
| RAW | Asignación de CSV |
| JSON | Asignación de JSON |
| AVRO | Asignación de AVRO |
| APACHEAVRO | Asignación de AVRO |
| Parquet | Asignación de Parquet |
| ORC | Asignación orc |
| W3CLOGFILE | Asignación de W3CLOGFILE |
Asignación de identidades
La ingesta es posible sin especificar ingestionMapping propiedades o ingestionMappingReference . Los datos se asignan mediante una asignación de datos de identidad derivada del esquema de la tabla. El esquema de tabla sigue siendo el mismo. format se debe especificar la propiedad . Consulte los formatos de ingesta.
| Tipo de formato | Format | Lógica de asignación |
|---|---|---|
| Formatos de datos tabulares con orden definido de columnas, como formatos separados por delimitadores o de una sola línea. | CSV, TSV, TSVe, PSV, SCSV, Txt, SOHsv, Raw | Todas las columnas de tabla se asignan en su orden respectivo a las columnas de datos en orden en que aparecen en el origen de datos. El tipo de datos de columna se toma del esquema de tabla. |
| Da formato a columnas o registros con nombre con campos con nombre. | JSON, Parquet, Avro, ApacheAvro, Orc, W3CLOGFILE | Todas las columnas de tabla se asignan a columnas de datos o campos de registro con el mismo nombre (distingue mayúsculas de minúsculas). El tipo de datos de columna se toma del esquema de tabla. |
Advertencia
Cualquier discrepancia entre el esquema de tabla y la estructura de datos, como los tipos de datos de columna o campo, los nombres de columna o campo o su número podrían dar lugar a datos vacíos o incorrectos ingeridos.
Asignación de transformaciones
Algunas de las asignaciones de formato de datos (Parquet, JSON y AVRO) admiten transformaciones en tiempo de ingesta sencillas y útiles. Cuando el escenario requiere un procesamiento más complejo en el momento de la ingesta, use la directiva de actualización, lo que permite definir el procesamiento ligero mediante la expresión KQL.
| Transformación dependiente de la ruta de acceso | Descripción | Condiciones |
|---|---|---|
| PropertyBagArrayToDictionary | Transforma la matriz JSON de propiedades, como {events:[{"n1":"v1"},{"n2":"v2"}]}, para el diccionario y la serializa en un documento JSON válido, como {"n1":"v1","n2":"v2"}. |
Disponible para JSONlos tipos de asignación , Parquet, AVROy ORC . |
| SourceLocation | Nombre del artefacto de almacenamiento que proporcionó los datos, cadena de tipo (por ejemplo, el campo "BaseUri" del blob). | Disponible para CSVlos tipos de asignación , JSON, ParquetAVRO, , ORCy W3CLOGFILE . |
| SourceLineNumber | Desplazamiento relativo a ese artefacto de almacenamiento, tipo long (a partir de "1" e incremento por registro nuevo). | Disponible para CSVlos tipos de asignación , JSON, ParquetAVRO, , ORCy W3CLOGFILE . |
| DateTimeFromUnixSeconds | Convierte el número que representa la hora unix (segundos desde 1970-01-01) a la cadena datetime UTC. | Disponible para CSVlos tipos de asignación , JSON, Parquet, AVROy ORC . |
| DateTimeFromUnixMilliseconds | Convierte el número que representa la hora unix (milisegundos desde 1970-01-01) a la cadena datetime UTC. | Disponible para CSVlos tipos de asignación , JSON, Parquet, AVROy ORC . |
| DateTimeFromUnixMicroseconds | Convierte el número que representa la hora unix (microsegundos desde 1970-01-01) a la cadena datetime UTC. | Disponible para CSVlos tipos de asignación , JSON, Parquet, AVROy ORC . |
| DateTimeFromUnixNanoseconds | Convierte el número que representa la hora unix (nanosegundos desde 1970-01-01) a la cadena datetime UTC. | Disponible para CSVlos tipos de asignación , JSON, Parquet, AVROy ORC . |
| DropMappedFields | Asigna un objeto del documento JSON a una columna y quita los campos anidados a los que ya hacen referencia otras asignaciones de columnas. | Disponible para JSONlos tipos de asignación , Parquet, AVROy ORC . |
| BytesAsBase64 | Trata los datos como matriz de bytes y los convierte en una cadena codificada en base64. | Disponible para el AVRO tipo de asignación. Para ApacheAvro el formato, el tipo de esquema del campo de datos asignado debe ser bytes o fixed tipo Avro. Para Avro el formato, el campo debe ser una matriz que contenga valores de bytes del intervalo [0-255]. null se ingiere si los datos no representan una matriz de bytes válida. |
Ejemplos de transformación de asignación
DropMappedFields transformación:
Dado el siguiente contenido JSON:
{
"Time": "2012-01-15T10:45",
"Props": {
"EventName": "CustomEvent",
"Revenue": 0.456
}
}
La siguiente asignación de datos asigna todo Props el objeto a una columna Props dinámica, sin incluir columnas ya asignadas (Props.EventName ya está asignada a la columna EventName, por lo que se excluye).
[
{ "Column": "Time", "Properties": { "Path": "$.Time" } },
{ "Column": "EventName", "Properties": { "Path": "$.Props.EventName" } },
{ "Column": "Props", "Properties": { "Path": "$.Props", "Transform":"DropMappedFields" } },
]
Los datos ingeridos tienen el siguiente aspecto:
| Time | EventName | Propiedades |
|---|---|---|
2012-01-15T10:45 |
CustomEvent |
{"Revenue": 0.456} |
BytesAsBase64 transformación
Dado el siguiente contenido del archivo AVRO:
{
"Time": "2012-01-15T10:45",
"Props": {
"id": [227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52]
}
}
La siguiente asignación de datos asigna la columna id. dos veces, con y sin la transformación .
[
{ "Column": "ID", "Properties": { "Path": "$.props.id" } },
{ "Column": "Base64EncodedId", "Properties": { "Path": "$.props.id", "Transform":"BytesAsBase64" } },
]
Los datos ingeridos tienen el siguiente aspecto:
| ID | Base64EncodedId |
|---|---|
[227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52] |
44MiXBxbQUiGigmFMy1oNA== |