Mapowanie AVRO

Dotyczy: ✅Microsoft Fabric✅Azure Data Explorer

Mapowanie avRO umożliwia mapowanie danych przychodzących na kolumny wewnątrz tabel, gdy plik źródłowy pozyskiwania jest w formacie AVRO.

Każdy element na liście mapowania definiuje mapowanie dla określonej kolumny. Te elementy są konstruowane z trzech właściwości: column, datatypei properties. Dowiedz się więcej w omówieniu mapowań danych.

Każdy element mapowania AVRO musi zawierać jedną z następujących opcjonalnych właściwości:

Właściwość	Type	Opis
Pole	string	Nazwa pola w rekordzie AVRO.
Ścieżka	string	Jeśli wartość zaczyna się od $ jego interpretacji jako ścieżki do pola w dokumencie AVRO, które staną się zawartością kolumny w tabeli. Ścieżka, która określa cały rekord AVRO, to $. Jeśli wartość nie zaczyna się od $ , jest interpretowana jako stała wartość. Ścieżki zawierające znaki specjalne należy stosować jako ['Nazwa właściwości']. Aby uzyskać więcej informacji, zobacz Składnia JSONPath.
ConstValue	string	Stała wartość, która ma być używana dla kolumny zamiast wartości wewnątrz pliku AVRO.
Przekształcanie	string	Przekształcenie, które należy zastosować do zawartości za pomocą przekształceń mapowania.

Uwaga

Pola i ścieżka wykluczają się wzajemnie.

Następujące alternatywy są równoważne:

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Ważne

W przypadku pozyskiwania w kolejce:

• Jeśli tabela, do której odwołuje się mapowanie, nie istnieje w bazie danych, zostanie utworzona automatycznie, biorąc pod uwagę, że prawidłowe typy danych są określone dla wszystkich kolumn.
• Jeśli kolumna przywoływana w mapowaniu nie istnieje w tabeli, zostanie ona automatycznie dodana do tabeli jako ostatnia kolumna podczas pierwszego pozyskiwania danych dla tej kolumny, biorąc pod uwagę prawidłowy typ danych określony dla kolumny. Aby dodać nowe kolumny do mapowania, użyj polecenia .alter ingestion mapowania.
• Dane są wsadowe przy użyciu właściwości pozyskiwania. Bardziej odrębne właściwości mapowania pozyskiwania, takie jak różne wartości ConstValue, tym bardziej rozdrobnione pozyskiwanie staje się, co może prowadzić do obniżenia wydajności.

Przykłady

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

Powyższe mapowanie jest serializowane jako ciąg JSON, gdy jest ono udostępniane jako część .ingest polecenia zarządzania.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

Wstępnie utworzone mapowanie

Po wstępnie utworzonym mapowaniu należy odwołać się do mapowania według nazwy w poleceniu .ingest zarządzania.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

Mapowanie tożsamości

Użyj mapowania AVRO podczas pozyskiwania bez definiowania schematu mapowania (zobacz mapowanie tożsamości).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )