JSON-Format in Azure Data Factory in Microsoft Fabric
In diesem Artikel wird beschrieben, wie Sie das JSON-Format in der Datenpipeline von Data Factory in Microsoft Fabric konfigurieren.
Unterstützte Funktionen
Das JSON-Format wird für die folgenden Aktivitäten und Connectors als Quelle und Ziel unterstützt.
Kategorie | Connector/Aktivität |
---|---|
Unterstützter Connector | Amazon S3 |
Amazon S3 Compatible | |
Azure Blob Storage | |
Azure Data Lake Storage Gen1 | |
Azure Data Lake Storage Gen2 | |
Azure Files | |
Dateisystem | |
FTP | |
Google Cloud Storage | |
HTTP | |
Lakehouse-Dateien | |
Oracle Cloud Storage | |
SFTP | |
Unterstützte Aktivität | Kopieraktivität (Quelle/Ziel) |
Lookup-Aktivität | |
GetMetadata-Aktivität | |
Delete-Aktivität |
JSON-Format in Kopieraktivität
Um das JSON-Format zu konfigurieren, wählen Sie Ihre Verbindung in der Quelle oder im Ziel der Datenpipeline-Kopieraktivität und anschließend die Option JSON in der Dropdownliste Dateiformat aus. Wählen Sie Einstellungen für die weitere Konfiguration dieses Formats aus.
JSON-Format als Quelle
Nachdem Sie im Abschnitt Dateiformat die Option Einstellungen ausgewählt haben, werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.
Komprimierungstyp: Wählen Sie im Dropdownmenü den Komprimierungscodec aus, der zum Lesen von JSON-Dateien verwendet wird. Sie können aus folgenden Optionen auswählen: Kein, bzip2, gzip, deflate, ZipDeflate, TarGzip oder tar.
Wenn Sie ZipDeflate als Komprimierungstyp auswählen, wird ZIP-Dateiname als Ordner beibehalten unter den Einstellungen Erweitert auf der Registerkarte Quelle angezeigt.
- Namen der ZIP-Datei als Ordner beibehalten: Gibt an, ob der Name der ZIP-Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst entpackte Dateien in
<specified file path>/<folder named as source zip file>/
. - Wenn dieses Kontrollkästchen deaktiviert ist, schreibt der Dienst entpackte Dateien direkt in
<specified file path>
. Stellen Sie sicher, dass es in unterschiedlichen ZIP-Quelldateien keine doppelten Dateinamen gibt, um Racebedingungen oder unerwartetes Verhalten zu vermeiden.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst entpackte Dateien in
Wenn Sie TarGzip/tar als Komprimierungstyp auswählen, wird Komprimierungsdateiname als Ordner beibehalten unter den Einstellungen Erweitert auf der Registerkarte Quelle angezeigt.
- Namen der Komprimierungsdatei als Ordner beibehalten: Gibt an, ob der Name der komprimierten Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst dekompromierte Dateien in
<specified file path>/<folder named as source compressed file>/
. - Wenn dieses Kontrollkästchen deaktiviert ist, schreibt der Dienst dekompromierte Dateien direkt in
<specified file path>
. Stellen Sie sicher, dass es in unterschiedlichen Quelldateien keine doppelten Dateinamen gibt, um Racebedingungen oder unerwartetes Verhalten zu vermeiden.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst dekompromierte Dateien in
- Namen der ZIP-Datei als Ordner beibehalten: Gibt an, ob der Name der ZIP-Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll.
Komprimierungsgrad: Das Komprimierungsverhältnis. Außerdem können Sie zwischen Schnellste oder Optimal auswählen.
Schnellster: Der Komprimierungsvorgang wird schnellstmöglich abgeschlossen, auch wenn die sich ergebende Datei nicht optimal komprimiert ist.
Optimal: Die Daten sollten optimal komprimiert sein, auch wenn der Vorgang eine längere Zeit in Anspruch nimmt. Weitere Informationen finden Sie im Artikel Komprimierungsgrad.
Codierung: Geben Sie den Codierungstyp an, der zum Lesen von Testdateien verwendet wird. Wählen Sie einen Typ aus der Dropdownliste aus. Der Standardwert ist UTF-8.
JSON-Format als Ziel
Nach Auswahl von Einstellungen werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.
Komprimierungstyp: Wählen Sie im Dropdownmenü den Komprimierungscodec aus, der zum Schreiben von JSON-Dateien verwendet wird. Sie können aus folgenden Optionen auswählen: Kein, bzip2, gzip, deflate, ZipDeflate, TarGzip oder tar.
Komprimierungsgrad: Das Komprimierungsverhältnis. Sie können zwischen Optimal oder Schnellster wählen.
Schnellster: Der Komprimierungsvorgang wird schnellstmöglich abgeschlossen, auch wenn die sich ergebende Datei nicht optimal komprimiert ist.
Optimal: Die Daten sollten optimal komprimiert sein, auch wenn der Vorgang eine längere Zeit in Anspruch nimmt. Weitere Informationen finden Sie im Artikel Komprimierungsgrad.
Codierung: Geben Sie den Codierungstyp an, der zum Schreiben von Testdateien verwendet wird. Wählen Sie einen Typ aus der Dropdownliste aus. Der Standardwert ist UTF-8.
Auf der Registerkarte Ziel werden in den Einstellungen Erweitert die folgenden Eigenschaften zum JSON-Format angezeigt.
- Dateimuster: Geben Sie das Muster der Daten an, die in den jeweiligen JSON-Dateien gespeichert sind. Zulässige Werte sind: Gruppe von Objekten (JSON Lines) und Array aus Objekten. Der Standardwert lautet Gruppe von Objekten. Weitere Informationen zu diesen Mustern finden Sie im Abschnitt JSON-Dateimuster.
JSON-Dateimuster
Beim Kopieren von Daten aus JSON-Dateien kann die Kopieraktivität die folgenden Muster von JSON-Dateien automatisch erkennen und analysieren. Beim Schreiben von Daten in JSON-Dateien können Sie das Dateimuster für das Ziel der Kopieraktivität konfigurieren.
Typ I: setOfObjects
Jede Datei enthält ein einzelnes Objekt, JSON-Zeilen oder verkettete Objekte.
JSON-Beispiel mit einzelnem Objekt
{ "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" }
JSON Lines (Standardeinstellung für Ziel)
{"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"} {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"} {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}
JSON-Beispiel mit Verkettung
{ "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" } { "time": "2015-04-29T07:13:21.0220000Z", "callingimsi": "466922202613463", "callingnum1": "123436380", "callingnum2": "789037573", "switch1": "US", "switch2": "UK" } { "time": "2015-04-29T07:13:21.4370000Z", "callingimsi": "466923101048691", "callingnum1": "678901578", "callingnum2": "345626404", "switch1": "Germany", "switch2": "UK" }
Typ II: arrayOfObjects
Jede Datei enthält ein Array von Objekten.
[ { "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" }, { "time": "2015-04-29T07:13:21.0220000Z", "callingimsi": "466922202613463", "callingnum1": "123436380", "callingnum2": "789037573", "switch1": "US", "switch2": "UK" }, { "time": "2015-04-29T07:13:21.4370000Z", "callingimsi": "466923101048691", "callingnum1": "678901578", "callingnum2": "345626404", "switch1": "Germany", "switch2": "UK" } ]
Tabellenzusammenfassung
JSON als Quelle
Die folgenden Eigenschaften werden im Abschnitt Quelle der Kopieraktivität unterstützt, wenn das JSON-Format verwendet wird.
Name | Beschreibung | Wert | Erforderlich | JSON-Skripteigenschaft |
---|---|---|---|---|
Dateiformat | Das Dateiformat aus, das Sie verwenden möchten. | JSON | Ja | Typ (unter datasetSettings ):Json |
Komprimierungstyp | Der Komprimierungscodec, der zum Lesen von JSON-Dateien verwendet wird. | Dabei können Sie wählen zwischen: None bzip2 gzip deflate ZipDeflate TarGzip tar |
Nein | Typ (unter compression ):BZIP2 gzip deflate ZipDeflate TarGzip tar |
Komprimierungsgrad | Das Komprimierungsverhältnis. | Fastest Optimal |
Nein | Grad (unter compression ):Fastest Optimal |
Codieren | Der Codierungstyp, der zum Lesen von Testdateien verwendet wird. | UTF-8 (Standardwert), UTF-8 ohne BOM, UTF-16LE, UTF-16BE, UTF-32LE, UTF-32BE, US-ASCII, UTF-7, BIG5, EUC-JP, EUC-KR, GB2312, GB18030, JOHAB, SHIFT-JIS, CP875, CP866, IBM00858, IBM037, IBM273, IBM437, IBM500, IBM737, IBM775, IBM850, IBM852, IBM855, IBM857, IBM860, IBM861, IBM863, IBM864, IBM865, IBM869, IBM870, IBM01140, IBM01141, IBM01142, IBM01143, IBM01144, IBM01145, IBM01146, IBM01147, IBM01148, IBM01149, ISO-2022-JP, ISO-2022-KR, ISO-8859-1, ISO-8859-2, ISO-8859-3, ISO-8859-4, ISO-8859-5, ISO-8859-6, ISO-8859-7, ISO-8859-8, ISO-8859-9, ISO-8859-13, ISO-8859-15, WINDOWS-874, WINDOWS-1250, WINDOWS-1251, WINDOWS-1252, WINDOWS-1253, WINDOWS-1254, WINDOWS-1255, WINDOWS-1256, WINDOWS-1257, WINDOWS-1258 | Ohne | encodingName |
Namen der ZIP-Datei als Ordner beibehalten | Gibt an, ob der Name der ZIP-Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll. | Ausgewählt (Standardwert) oder nicht ausgewählt | Nein | preserveZipFileNameAsFolder (unter compressionProperties >type als ZipDeflateReadSettings ):TRUE (Standardwert) oder FALSE |
Namen der Komprimierungsdatei als Ordner beibehalten | Gibt an, ob der Name der komprimierten Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll. | Ausgewählt (Standardwert) oder nicht ausgewählt | Nein | preserveCompressionFileNameAsFolder (unter compressionProperties >type : als TarGZipReadSettings oder TarReadSettings ):TRUE (Standardwert) oder FALSE |
JSON als Ziel
Die folgenden Eigenschaften werden im Abschnitt Ziel der Kopieraktivität unterstützt, wenn das JSON-Format verwendet wird.
Name | Beschreibung | Wert | Erforderlich | JSON-Skripteigenschaft |
---|---|---|---|---|
Dateiformat | Das Dateiformat aus, das Sie verwenden möchten. | JSON | Ja | Typ (unter datasetSettings ):Json |
Komprimierungstyp | Der Komprimierungscodec, der zum Schreiben von JSON-Dateien verwendet wird. | Dabei können Sie wählen zwischen: None bzip2 gzip deflate ZipDeflate TarGzip tar |
Nein | Typ (unter compression ):BZIP2 gzip deflate ZipDeflate TarGzip tar |
Komprimierungsgrad | Das Komprimierungsverhältnis. | Fastest Optimal |
Nein | Grad (unter compression ):Fastest Optimal |
Codieren | Der Codierungstyp, der zum Schreiben von Testdateien verwendet wird. | UTF-8 (Standardwert), UTF-8 ohne BOM, UTF-16LE, UTF-16BE, UTF-32LE, UTF-32BE, US-ASCII, UTF-7, BIG5, EUC-JP, EUC-KR, GB2312, GB18030, JOHAB, SHIFT-JIS, CP875, CP866, IBM00858, IBM037, IBM273, IBM437, IBM500, IBM737, IBM775, IBM850, IBM852, IBM855, IBM857, IBM860, IBM861, IBM863, IBM864, IBM865, IBM869, IBM870, IBM01140, IBM01141, IBM01142, IBM01143, IBM01144, IBM01145, IBM01146, IBM01147, IBM01148, IBM01149, ISO-2022-JP, ISO-2022-KR, ISO-8859-1, ISO-8859-2, ISO-8859-3, ISO-8859-4, ISO-8859-5, ISO-8859-6, ISO-8859-7, ISO-8859-8, ISO-8859-9, ISO-8859-13, ISO-8859-15, WINDOWS-874, WINDOWS-1250, WINDOWS-1251, WINDOWS-1252, WINDOWS-1253, WINDOWS-1254, WINDOWS-1255, WINDOWS-1256, WINDOWS-1257, WINDOWS-1258 | Ohne | encodingName |
Dateimuster | Geben Sie das Muster der in jeder JSON-Datei gespeicherten Daten an. | Satz von Objekten Array aus Objekten |
Nein | filePattern: setOfObjects arrayOfObjects |