Freigeben über

Erfassen von Beispieldaten im JSON-Format in Azure Data Explorer

  • Artikel

In diesem Artikel wird das Erfassen von Daten im JSON-Format in einer Azure Data Explorer-Datenbank veranschaulicht. Sie beginnen mit einfachen Beispielen für unformatierten und zugeordneten JSON-Code, fahren dann mit mehrzeiligem JSON-Code fort und beschäftigen sich schließlich mit komplexeren JSON-Schemas, die Arrays und Wörterbücher enthalten. In den Beispielen wird der Prozess der Erfassung von JSON-formatierten Daten mithilfe von Kusto-Abfragesprache (KQL), C# oder Python beschrieben.

Hinweis

Es wird nicht empfohlen, Verwaltungsbefehle in Produktionsszenarien zu verwenden .ingest . Verwenden Sie stattdessen einen Datenconnector oder programmgesteuert Daten mithilfe einer der Kusto-Clientbibliotheken.

Voraussetzungen

  • Ein Microsoft-Konto oder eine Microsoft Entra-Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
  • Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank

JSON-Format

Azure Data Explorer unterstützt zwei JSON-Dateiformate:

  • json: Zeilentrennte JSON. Jede Zeile in den Eingabedaten enthält exakt einen JSON-Datensatz. Dieses Format unterstützt die Analyse von Kommentaren und In-Anzeichen-Eigenschaften.This format supports parsing of comments and single-quoted properties. Weitere Informationen finden Sie unter JSON Lines.
  • multijson: Mehrzeiliges JSON. Der Parser ignoriert die Zeilentrennungen und liest einen Datensatz von der vorherigen Position bis zum Ende eines gültigen JSON-Codes.

Hinweis

Beim Aufnehmen der Datenerfahrung ist das Standardformat multijson. Das Format kann mehrlineline JSON-Datensätze und Arrays von JSON-Datensätzen verarbeiten. Wenn ein Analysefehler auftritt, wird die gesamte Datei verworfen. Um ungültige JSON-Datensätze zu ignorieren, wählen Sie die Option "Datenformatfehler ignorieren" aus, wodurch das Format ( json JSON-Zeilen) geändert wird.

Wenn Sie das JSON-Linienformat (json) verwenden, werden Zeilen, die keine gültigen JSON-Einträge darstellen, während der Analyse übersprungen.

Erfassen und Zuordnen von Daten im JSON-Format

Für die Erfassung von Daten im JSON-Format müssen Sie das Format angeben, indem Sie die Erfassungseigenschaft verwenden. Für die Erfassung von JSON-Daten ist eine Zuordnung erforderlich, bei der ein JSON-Quelleintrag der Zielspalte zugeordnet wird. Verwenden Sie bei der Datenerfassung die Eigenschaft IngestionMapping mit der Erfassungseigenschaft ingestionMappingReference (für eine vordefinierte Zuordnung) oder mit der Eigenschaft IngestionMappings. In diesem Artikel wird die ingestionMappingReference-Erfassungseigenschaft verwendet, die in der für die Erfassung verwendeten Tabelle vordefiniert ist. In den folgenden Beispielen erfassen wir zunächst JSON-Datensätze als Rohdaten in einer einzelnen Tabellenspalte. Anschließend verwenden wir die Zuordnung, um jede Eigenschaft in ihrer zugeordneten Spalte zu erfassen.

Einfaches JSON-Beispiel

Das folgende Beispiel zeigt einfachen JSON-Code mit einer flachen Struktur. Die Daten enthalten Informationen zur Temperatur und Luftfeuchtigkeit, die von mehreren Geräten gesammelt werden. Jeder Datensatz ist mit einer ID und einem Zeitstempel gekennzeichnet.

{
    "timestamp": "2019-05-02 15:23:50.0369439",
    "deviceId": "2945c8aa-f13e-4c48-4473-b81440bb5ca2",
    "messageId": "7f316225-839a-4593-92b5-1812949279b3",
    "temperature": 31.0301639051317,
    "humidity": 62.0791099602725
}

Erfassen von unformatierten JSON-Datensätzen

In diesem Beispiel erfassen Sie JSON-Datensätze als Rohdaten in einer Tabelle mit nur einer Spalte. Vorgänge wie die Datenbearbeitung, Verwendung von Abfragen und Aktualisierung von Richtlinien werden nach dem Erfassen der Daten durchgeführt.

Verwenden Sie Kusto-Abfragesprache, um Daten in einem unformatierten JSON-Format aufzunehmen.

  1. Melden Sie sich bei https://dataexplorer.azure.com an.

  2. Wählen Sie Cluster hinzufügen aus.

  3. Geben Sie im Dialogfeld Add cluster (Cluster hinzufügen) Ihre Cluster-URL im Format https://<ClusterName>.<Region>.kusto.windows.net/ ein, und wählen Sie dann Hinzufügen aus.

  4. Fügen Sie den folgenden Befehl ein, und wählen Sie Ausführen aus, um die Tabelle zu erstellen.

    .create table RawEvents (Event: dynamic)

    Mit dieser Abfrage wird eine Tabelle mit nur einer Event-Spalte und dem Datentyp Dynamisch erstellt.

  5. Erstellen Sie die JSON-Zuordnung.

    .create table RawEvents ingestion json mapping 'RawEventMapping' '[{"column":"Event","Properties":{"path":"$"}}]'

    Mit diesem Befehl wird eine Zuordnung erstellt und der JSON-Stammpfad $ der Spalte Event zugeordnet.

  6. Erfassen Sie Daten in der Tabelle RawEvents.

    .ingest into table RawEvents ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/simple.json') with '{"format":"json", "ingestionMappingReference":"RawEventMapping"}'

Erfassen von zugeordneten JSON-Datensätzen

In diesem Beispiel erfassen Sie die Daten von JSON-Datensätzen. Jede JSON-Eigenschaft wird einer Spalte der Tabelle zugeordnet.

  1. Erstellen Sie eine neue Tabelle mit einem ähnlichen Schema wie für die JSON-Eingabedaten. Wir verwenden diese Tabelle für alle folgenden Beispiele und Erfassungsbefehle.

    .create table Events (Time: datetime, Device: string, MessageId: string, Temperature: double, Humidity: double)

  2. Erstellen Sie die JSON-Zuordnung.

    .create table Events ingestion json mapping 'FlatEventMapping' '[{"column":"Time","Properties":{"path":"$.timestamp"}},{"column":"Device","Properties":{"path":"$.deviceId"}},{"column":"MessageId","Properties":{"path":"$.messageId"}},{"column":"Temperature","Properties":{"path":"$.temperature"}},{"column":"Humidity","Properties":{"path":"$.humidity"}}]'

    In dieser Zuordnung werden die timestamp-Einträge – wie im Tabellenschema definiert – in der Spalte Time mit dem Datentyp datetime erfasst.

  3. Erfassen Sie Daten in der Tabelle Events.

    .ingest into table Events ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/simple.json') with '{"format":"json", "ingestionMappingReference":"FlatEventMapping"}'

    Die Datei „simple.json“ enthält einige JSON-Datensätze, die nach Zeilen getrennt sind. Das Format lautet json, und im Erfassungsbefehl wird das von Ihnen erstellte FlatEventMapping-Element für die Zuordnung genutzt.

Erfassen von mehrzeiligen JSON-Datensätzen

In diesem Beispiel erfassen Sie mehrzeilige JSON-Datensätze. Jede JSON-Eigenschaft wird einer Spalte der Tabelle zugeordnet. Die Datei „multilined.json“ enthält einige eingezogene JSON-Datensätze. Das Format multijson gibt an, dass Datensätze von der JSON-Struktur gelesen werden.

Erfassen Sie Daten in der Tabelle Events.

.ingest into table Events ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/multilined.json') with '{"format":"multijson", "ingestionMappingReference":"FlatEventMapping"}'

Erfassen von JSON-Datensätzen mit Arrays

Arraydatentypen sind eine geordnete Sammlung von Werten. Die Erfassung eines JSON-Arrays erfolgt über eine Updaterichtlinie. Der JSON-Code wird ohne Änderungen in einer Zwischentabelle erfasst. Bei allen Updaterichtlinien wird für die Tabelle RawEvents eine vordefinierte Funktion ausgeführt, und die Ergebnisse werden wieder in der Zieltabelle erfasst. Wir erfassen Daten mit der folgenden Struktur:

{
    "records":
    [
        {
            "timestamp": "2019-05-02 15:23:50.0000000",
            "deviceId": "ddbc1bf5-096f-42c0-a771-bc3dca77ac71",
            "messageId": "7f316225-839a-4593-92b5-1812949279b3",
            "temperature": 31.0301639051317,
            "humidity": 62.0791099602725
        },
        {
            "timestamp": "2019-05-02 15:23:51.0000000",
            "deviceId": "ddbc1bf5-096f-42c0-a771-bc3dca77ac71",
            "messageId": "57de2821-7581-40e4-861e-ea3bde102364",
            "temperature": 33.7529423105311,
            "humidity": 75.4787976739364
        }
    ]
}

  1. Erstellen Sie eine update policy-Funktion, mit der die Sammlung von records so erweitert wird, dass jeder Wert der Sammlung über den Operator mv-expand in einer separaten Zeile angeordnet wird. Wir nutzen die Tabelle RawEvents als Quelltabelle und Events als Zieltabelle.

    .create function EventRecordsExpand() {
    RawEvents
    | mv-expand records = Event.records
    | project
        Time = todatetime(records["timestamp"]),
        Device = tostring(records["deviceId"]),
        MessageId = tostring(records["messageId"]),
        Temperature = todouble(records["temperature"]),
        Humidity = todouble(records["humidity"])
}

  2. Das von der Funktion empfangene Schema muss mit dem Schema der Zieltabelle übereinstimmen. Verwenden Sie den Operator getschema, um das Schema zu überprüfen.

    EventRecordsExpand() | getschema

  3. Fügen Sie die Updaterichtlinie der Zieltabelle hinzu. Diese Richtlinie führt die Abfrage automatisch für alle neu erfassten Daten in der Zwischentabelle RawEvents aus und erfasst die Ergebnisse in der Tabelle Events. Definieren Sie eine Richtlinie mit einem Aufbewahrungszeitraum von Null, um das beständige Speichern der Zwischentabelle zu vermeiden.

    .alter table Events policy update @'[{"Source": "RawEvents", "Query": "EventRecordsExpand()", "IsEnabled": "True"}]'

  4. Erfassen Sie Daten in der Tabelle RawEvents.

    .ingest into table RawEvents ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/array.json') with '{"format":"multijson", "ingestionMappingReference":"RawEventMapping"}'

  5. Sehen Sie sich die Daten in der Tabelle Events an.

    Events

Zugehöriger Inhalt