Avro-Format in Azure Data Factory in Microsoft Fabric
In diesem Artikel wird erläutert, wie Sie das Avro-Format in der Datenpipeline von Data Factory in Microsoft Fabric konfigurieren.
Unterstützte Funktionen
Das Avro-Format wird für die folgenden Aktivitäten und Connectors als Quelle und Ziel unterstützt.
| Kategorie | Connector/Aktivität |
|---|---|
| Unterstützter Connector | Amazon S3 |
| Amazon S3 Compatible | |
| Azure Blob Storage | |
| Azure Data Lake Storage Gen1 | |
| Azure Data Lake Storage Gen2 | |
| Azure Files | |
| Dateisystem | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| Lakehouse-Dateien | |
| Oracle Cloud Storage | |
| SFTP | |
| Unterstützte Aktivität | Kopieraktivität (Quelle/Ziel) |
| Lookup-Aktivität | |
| GetMetadata-Aktivität | |
| Delete-Aktivität |
Avro-Format in Kopieraktivität
Um das Avro-Format zu konfigurieren, wählen Sie Ihre Verbindung in der Quelle oder im Ziel der Datenpipeline-Kopieraktivität und anschließend die Option Avro in der Dropdownliste Dateiformat aus. Wählen Sie Einstellungen für die weitere Konfiguration dieses Formats aus.
Avro-Format als Quelle
Nachdem Sie im Abschnitt Dateiformat die Option Einstellungen ausgewählt haben, werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.
Komprimierungstyp: Wählen Sie im Dropdownmenü den Codec für die Komprimierung aus, der zum Lesen von Avro-Dateien verwendet wird. Sie können zwischen Keine oder Verkleinern wählen. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Typ im Ausdrucks-Generator anzugeben.
Komprimierungsgrad: Geben Sie das Komprimierungsverhältnis an. Wählen Sie einen Wert zwischen 1 und 7 aus. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Grad im Ausdrucks-Generator anzugeben.
Avro-Format als Ziel
Nach Auswahl von Einstellungen werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.
Komprimierungstyp: Wählen Sie im Dropdownmenü den Codec für die Komprimierung aus, der zum Schreiben von Avro-Dateien verwendet wird. Sie können zwischen Keine oder Verkleinern wählen. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Typ im Ausdrucks-Generator anzugeben.
Komprimierungsgrad: Geben Sie das Komprimierungsverhältnis an. Wählen Sie einen Wert zwischen 1 und 7 aus. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Grad im Ausdrucks-Generator anzugeben.
Auf der Registerkarte Ziel werden in den Einstellungen Erweitert die folgenden Eigenschaften zum Avro-Format angezeigt.
- Max. Anzahl Zeilen pro Datei: Wenn Sie Daten in einen Ordner schreiben, können Sie wahlweise in mehrere Dateien schreiben und die maximale Anzahl von Zeilen pro Datei angeben.
- Dateinamenpräfix: Wird angewendet, wenn Max. Anzahl Zeilen pro Datei konfiguriert ist. Geben Sie das Dateinamenpräfix beim Schreiben von Daten in mehrere Dateien an, das zu diesem Muster führt:
<fileNamePrefix>_00000.<fileExtension>. Wenn keine Angabe erfolgt, wird das Dateinamenpräfix automatisch generiert. Diese Eigenschaft wird nicht angewendet, wenn die Quelle ein dateibasierter Speicher oder ein Datenspeicher mit aktivierter Partitionsoption ist.
Tabellenzusammenfassung
Avro als Quelle
Die folgenden Eigenschaften werden im Abschnitt Quelle der Kopieraktivität unterstützt, wenn das Avro-Format verwendet wird.
| Name | Beschreibung | Wert | Erforderlich | Avro-Skripteigenschaft |
|---|---|---|---|---|
| Dateiformat | Das Dateiformat aus, das Sie verwenden möchten. | Avro | Ja | Typ (unter datasetSettings):Avro |
| Komprimierungstyp | Der zum Lesen von Avro-Dateien verwendete Komprimierungscodec. | None deflate |
Nein | avroCompressionCodec: deflate |
| Komprimierungsgrad | Das Komprimierungsverhältnis. | 1 bis 7 | Nein | avroCompressionLevel: 1 bis 7 |
Avro als Ziel
Die folgenden Eigenschaften werden im Abschnitt Ziel der Kopieraktivität unterstützt, wenn das Avro-Format verwendet wird.
| Name | Beschreibung | Wert | Erforderlich | Avro-Skripteigenschaft |
|---|---|---|---|---|
| Dateiformat | Das Dateiformat aus, das Sie verwenden möchten. | Avro | Ja | Typ (unter datasetSettings):Avro |
| Komprimierungstyp | Der zum Schreiben von Avro-Dateien verwendete Codec für die Komprimierung. | None deflate |
Nein | avroCompressionCodec: deflate |
| Komprimierungsgrad | Das Komprimierungsverhältnis. | 1 bis 7 | Nein | avroCompressionLevel: 1 bis 7 |
| Max. Anzahl Zeilen pro Datei | Wenn Sie Daten in einen Ordner schreiben, können Sie wahlweise in mehrere Dateien schreiben und die maximale Anzahl von Zeilen pro Datei angeben. | <Ihre maximale Anzahl Zeilen pro Datei > | Nein | maxRowsPerFile |
| Dateinamenpräfix | Wird angewendet, wenn Max. Anzahl Zeilen pro Datei konfiguriert ist. Geben Sie das Dateinamenpräfix beim Schreiben von Daten in mehrere Dateien an, das zu diesem Muster führt: <fileNamePrefix>_00000.<fileExtension>. Wenn keine Angabe erfolgt, wird das Dateinamenpräfix automatisch generiert. Diese Eigenschaft wird nicht angewendet, wenn die Quelle ein dateibasierter Speicher oder ein Datenspeicher mit aktivierter Partitionsoption ist. |
< Ihr Dateinamenpräfix > | Nein | fileNamePrefix |