Udostępnij za pośrednictwem

Mapowanie AVRO

  • Artykuł

Dotyczy: ✅Microsoft Fabric✅Azure Data Explorer

Mapowanie avRO umożliwia mapowanie danych przychodzących na kolumny wewnątrz tabel, gdy plik źródłowy pozyskiwania jest w formacie AVRO.

Każdy element na liście mapowania definiuje mapowanie dla określonej kolumny. Te elementy są konstruowane z trzech właściwości: column, datatypei properties. Dowiedz się więcej w omówieniu mapowań danych.

Każdy element mapowania AVRO musi zawierać jedną z następujących opcjonalnych właściwości:

Właściwość Type Opis
Pole string Nazwa pola w rekordzie AVRO.
Ścieżka string Jeśli wartość zaczyna się od $, jest traktowana jako ścieżka do pola w dokumencie AVRO. Ta ścieżka określa część dokumentu AVRO, która staje się zawartością kolumny w tabeli. Ścieżka, która określa cały rekord AVRO, to $. Jeśli wartość nie zaczyna się od $, jest traktowana jako wartość stała. Ścieżki zawierające znaki specjalne należy stosować jako ['Nazwa właściwości']. Aby uzyskać więcej informacji, zobacz Składnia JSONPath.
ConstValue string Stała wartość, która ma być używana dla kolumny zamiast wartości wewnątrz pliku AVRO.
Przekształcanie string Przekształcenie, które należy zastosować do zawartości za pomocą przekształceń mapowania.

Uwaga

Pola i ścieżka wykluczają się wzajemnie.

Następujące alternatywy są równoważne:

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Ważne

W przypadku pozyskiwania w kolejce:

  • Jeśli tabela, do której odwołuje się mapowanie, nie istnieje w bazie danych, zostanie utworzona automatycznie, biorąc pod uwagę, że prawidłowe typy danych są określone dla wszystkich kolumn.
  • Jeśli kolumna przywoływana w mapowaniu nie istnieje w tabeli, zostanie ona automatycznie dodana do tabeli jako ostatnia kolumna podczas pierwszego pozyskiwania danych dla tej kolumny, biorąc pod uwagę prawidłowy typ danych określony dla kolumny. Aby dodać nowe kolumny do mapowania, użyj polecenia .alter ingestion mapowania.
  • Dane są wsadowe przy użyciu właściwości pozyskiwania. Bardziej odrębne właściwości mapowania pozyskiwania, takie jak różne wartości ConstValue, tym bardziej rozdrobnione pozyskiwanie staje się, co może prowadzić do obniżenia wydajności.

Przykłady

Serializacja JSON

Poniższe przykładowe mapowanie jest serializowane jako ciąg JSON, jeśli jest podane jako część polecenia zarządzania .ingest.

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

Tutaj serializowane mapowanie JSON znajduje się w kontekście polecenia zarządzania .ingest.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

Wstępnie utworzone mapowanie

Gdy mapowanie jest wstępnie utworzone, odwołuje się do mapowania według nazwy w poleceniu zarządzania .ingest.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

Mapowanie tożsamości

Użyj mapowania AVRO podczas pozyskiwania bez definiowania schematu mapowania (zobacz mapowanie tożsamości).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )

Powiązana zawartość

  • Użyj narzędzia avrotize k2a, aby utworzyć schemat Avro.