Partager via

Formats de données pris en charge par Azure Synapse Data Explorer pour l’ingestion (préversion)

  • Article

L’ingestion des données est le processus par lequel les données sont ajoutées à une table et deviennent disponibles pour une requête dans Data Explorer. Pour toutes les méthodes d’ingestion autres que l’ingestion à partir d’une requête, les données doivent être dans l’un des formats pris en charge. Le tableau suivant liste et décrit les formats pris en charge par Data Explorer pour l’ingestion de données.

Notes

Avant d’ingérer des données, vérifiez que celles-ci sont correctement mises en forme et qu’elles définissent les champs attendus. Nous vous recommandons d’utiliser votre validateur habituel pour vérifier que le format est valide. Par exemple, vous pouvez trouver les validateurs suivants utiles pour la vérification des fichiers CSV ou JSON :

Pour en savoir plus sur ce qui provoque l’échec de l’ingestion, consultez Échec de l’ingestion et Codes d’erreur d’ingestion dans Data Explorer.

Format Extension Description
ApacheAvro .avro Format AVRO avec prise en charge des types logiques. Les codecs de compression suivants sont pris en charge : null, deflate et snappy. L’implémentation du lecteur du format apacheavro est basée sur la apacheavro officielle.
Avro .avro Implémentation héritée du format AVRO basée sur la bibliothèque .NET. Les codecs de compression suivants sont pris en charge : null, deflate (pour snappy, utilisez le format de données ApacheAvro).
CSV .csv Fichier texte avec des valeurs séparées par des virgules (,). Consultez RFC 4180 : Common Format and MIME Type for Comma-Separated Values (CSV) Files.
JSON .json Fichier texte avec des objets JSON délimités par \n ou \r\n. Consultez JSON Lines (JSONL).
MultiJSON .multijson Fichier texte avec un tableau JSON de conteneurs des propriétés (représentant chacun un enregistrement) ou n’importe quel nombre de conteneurs des propriétés délimités par des espaces, \n ou \r\n. Chaque conteneur de propriétés peut être réparti sur plusieurs lignes. Ce format est préférable à JSON, sauf si les données ne sont pas des conteneurs de propriétés.
ORC .orc Fichier ORC.
Parquet .parquet Fichier Parquet.
PSV .psv Fichier texte avec des valeurs séparées par des barres verticales (|).
RAW .raw Fichier texte dont le contenu entier est une valeur de chaîne unique.
SCsv .scsv Fichier texte avec des valeurs séparées par des points-virgules (;).
SOHsv .sohsv Fichier texte avec des valeurs séparées par SOH. (SOH est le point de code ASCII 1 ; ce format est utilisé par Hive sur HDInsight.)
TSV .tsv Fichier texte avec des valeurs séparées par des tabulations (\t).
TSVE .tsv Fichier texte avec des valeurs séparées par des tabulations (\t). Une barre oblique inverse (\) est utilisée pour l’échappement.
TXT .txt Fichier texte dont les lignes sont délimitées par \n. Les lignes vides sont ignorées.
W3CLOGFILE .log Format du fichier journal web standardisé par le W3C.

Formats de compression de données pris en charge

Les objets blob et les fichiers peuvent être compressés par l’un des algorithmes de compression suivants :

Compression Extension
GZip .gz
Zip .zip

Indiquez la compression en ajoutant l’extension au nom de l’objet blob ou du fichier.

Par exemple :

  • MyData.csv.zip indique un objet blob ou un fichier au format CSV, compressé avec ZIP (archive ou fichier unique)
  • MyData.json.gz indique un objet blob ou un fichier au format JSON, compressé avec GZip.

Les noms d’objets blob ou de fichiers qui n’incluent pas les extensions de format mais simplement la compression (par exemple, MyData.zip) sont également pris en charge. Dans ce cas, le format de fichier doit être spécifié en tant que propriété d’ingestion, car il ne peut pas être déduit.

Notes

  • Certains formats de compression assurent le suivi de l’extension de fichier d’origine dans le cadre du flux compressé. Cette extension est généralement ignorée lors du processus de vérification du format de fichier. S’il n’est pas possible de déterminer le format de fichier à partir du nom de l’objet blob ou du fichier (compressé), vous devez le spécifier par le biais de la propriété d’ingestion format.
  • À ne pas confondre avec le codec de compression interne (au niveau du bloc) utilisé par les formats Parquet, AVRO et ORC. Le nom de la compression interne est généralement ajouté à un nom de fichier avant l’extension de format de fichier, par exemple file1.gz.parquet, file1.snappy.avro, etc.

Étapes suivantes