Mapowanie ORC

Dotyczy: ✅Microsoft Fabric✅Azure Data Explorer

Mapowanie ORC umożliwia mapowanie danych przychodzących na kolumny wewnątrz tabel, gdy plik źródłowy pozyskiwania jest w formacie ORC.

Każdy element na liście mapowania definiuje mapowanie dla określonej kolumny. Te elementy są konstruowane z trzech właściwości: column, datatypei properties. Dowiedz się więcej w omówieniu mapowań danych.

Każdy element mapowania ORC musi zawierać jedną z następujących opcjonalnych właściwości:

Właściwość	Type	Opis
Pole	string	Nazwa pola w rekordzie ORC.
Ścieżka	string	Jeśli wartość zaczyna się od $ niej interpretowana jako ścieżka do pola w dokumencie ORC, który stanie się zawartością kolumny w tabeli. Ścieżka, która określa cały rekord ORC, to $. Jeśli wartość nie zaczyna się od $ , jest interpretowana jako stała wartość. Ścieżki zawierające znaki specjalne należy stosować jako ['Nazwa właściwości']. Aby uzyskać więcej informacji, zobacz Składnia JSONPath.
ConstValue	string	Stała wartość, która ma być używana dla kolumny zamiast wartości wewnątrz pliku ORC.
Przekształcanie	string	Przekształcenie, które należy zastosować do zawartości za pomocą przekształceń mapowania.

Uwaga

Pola i ścieżka wykluczają się wzajemnie.

Następujące alternatywy są równoważne:

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Ważne

W przypadku pozyskiwania w kolejce:

• Jeśli tabela, do której odwołuje się mapowanie, nie istnieje w bazie danych, zostanie utworzona automatycznie, biorąc pod uwagę, że prawidłowe typy danych są określone dla wszystkich kolumn.
• Jeśli kolumna przywoływana w mapowaniu nie istnieje w tabeli, zostanie ona automatycznie dodana do tabeli jako ostatnia kolumna podczas pierwszego pozyskiwania danych dla tej kolumny, biorąc pod uwagę prawidłowy typ danych określony dla kolumny. Aby dodać nowe kolumny do mapowania, użyj polecenia .alter ingestion mapowania.
• Dane są wsadowe przy użyciu właściwości pozyskiwania. Bardziej odrębne właściwości mapowania pozyskiwania, takie jak różne wartości ConstValue, tym bardziej rozdrobnione pozyskiwanie staje się, co może prowadzić do obniżenia wydajności.

Przykłady

[
  {"Column": "event_timestamp", "Properties": {"Path": "$.Timestamp"}},
  {"Column": "event_name",      "Properties": {"Path": "$.Event.Name"}},
  {"Column": "event_type",      "Properties": {"Path": "$.Event.Type"}},
  {"Column": "event_time",      "Properties": {"Path": "$.Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

Powyższe mapowanie jest serializowane jako ciąg JSON, gdy jest ono udostępniane jako część .ingest polecenia zarządzania.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "orc",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Path": "$.Field1"}},
        {"Column": "column_b", "Properties": {"Path": "$.[\'Field name with space\']"}}
      ]
      ```
  )

Wstępnie utworzone mapowanie

Po wstępnie utworzonym mapowaniu należy odwołać się do mapowania według nazwy w poleceniu .ingest zarządzania.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="orc",
        ingestionMappingReference = "ORC_Mapping"
    )

Mapowanie tożsamości

Użyj mapowania ORC podczas pozyskiwania bez definiowania schematu mapowania (zobacz mapowanie tożsamości).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="orc"
    )