Konfigurowanie punktów końcowych przepływu danych

Ważne

Ta strona zawiera instrukcje dotyczące zarządzania składnikami operacji usługi Azure IoT przy użyciu manifestów wdrażania platformy Kubernetes, które są w wersji zapoznawczej. Ta funkcja jest udostępniana z kilkoma ograniczeniami i nie powinna być używana w przypadku obciążeń produkcyjnych.

Zobacz Dodatkowe warunki użytkowania wersji zapoznawczych platformy Microsoft Azure, aby zapoznać się z postanowieniami prawnymi dotyczącymi funkcji platformy Azure, które są w wersji beta lub wersji zapoznawczej albo w inny sposób nie zostały jeszcze wydane jako ogólnie dostępne.

Aby rozpocząć pracę z przepływami danych, najpierw utwórz punkty końcowe przepływu danych. Punkt końcowy przepływu danych to punkt połączenia dla przepływu danych. Możesz użyć punktu końcowego jako źródła lub miejsca docelowego dla przepływu danych. Niektóre typy punktów końcowych mogą być używane jako źródła i miejsca docelowe, natomiast inne są przeznaczone tylko dla miejsc docelowych. Przepływ danych wymaga co najmniej jednego źródłowego punktu końcowego i jednego docelowego punktu końcowego.

Użyj poniższej tabeli, aby wybrać typ punktu końcowego do skonfigurowania:

Typ punktu końcowego	opis	Może być używany jako źródło	Może być używany jako miejsce docelowe
MQTT	W przypadku dwukierunkowych komunikatów za pomocą brokerów MQTT, w tym wbudowanego w usługę Azure IoT Operations i Event Grid.	Tak	Tak
Kafka	W przypadku komunikatów dwukierunkowych za pomocą brokerów platformy Kafka, w tym usługi Azure Event Hubs.	Tak	Tak
Data Lake	W przypadku przekazywania danych do kont magazynu usługi Azure Data Lake Gen2.	Nie.	Tak
Microsoft Fabric OneLake	Do przekazywania danych do usługi Microsoft Fabric OneLake Lakehouses.	Nie.	Tak
Azure Data Explorer	Do przekazywania danych do baz danych usługi Azure Data Explorer.	Nie.	Tak
Magazyn lokalny	W przypadku wysyłania danych do woluminu trwałego dostępnego lokalnie, za pomocą którego można przekazywać dane za pośrednictwem usługi Azure Container Storage włączonej przez woluminy brzegowe usługi Azure Arc.	Nie.	Tak

Ważne

Punkty końcowe magazynu wymagają schematu serializacji. Aby używać przepływu danych z usługą Microsoft Fabric OneLake, Azure Data Lake Storage, Azure Data Explorer lub Local Storage, należy określić odwołanie do schematu.

Aby wygenerować schemat na podstawie przykładowego pliku danych, użyj pomocnika generacji schematu.

Przepływy danych muszą używać lokalnego punktu końcowego brokera MQTT

Podczas tworzenia przepływu danych należy określić źródłowe i docelowe punkty końcowe. Przepływ danych przenosi dane z źródłowego punktu końcowego do docelowego punktu końcowego. Możesz użyć tego samego punktu końcowego dla wielu przepływów danych i użyć tego samego punktu końcowego co źródło i miejsce docelowe w przepływie danych.

Jednak używanie niestandardowych punktów końcowych jako źródła i miejsca docelowego w przepływie danych nie jest obsługiwane. To ograniczenie oznacza, że wbudowany broker MQTT w operacjach usługi Azure IoT musi być co najmniej jednym punktem końcowym. Może to być źródło, miejsce docelowe lub oba. Aby uniknąć błędów wdrażania przepływu danych, użyj domyślnego punktu końcowego przepływu danych MQTT jako źródła lub miejsca docelowego dla każdego przepływu danych.

Określone wymaganie dotyczy każdego przepływu danych musi mieć źródło lub miejsce docelowe skonfigurowane z punktem końcowym MQTT, który ma hosta aio-broker. Dlatego nie jest to ściśle wymagane do korzystania z domyślnego punktu końcowego i można utworzyć dodatkowe punkty końcowe przepływu danych wskazujące na lokalnego brokera MQTT, o ile host ma wartość aio-broker. Jednak aby uniknąć nieporozumień i problemów z możliwościami zarządzania, domyślny punkt końcowy jest zalecanym podejściem.

W poniższej tabeli przedstawiono obsługiwane scenariusze:

Scenariusz	Obsługiwane
Domyślny punkt końcowy jako źródło	Tak
Domyślny punkt końcowy jako miejsce docelowe	Tak
Niestandardowy punkt końcowy jako źródło	Tak, jeśli miejsce docelowe jest domyślnym punktem końcowym lub punktem końcowym MQTT z hostem aio-broker
Niestandardowy punkt końcowy jako miejsce docelowe	Tak, jeśli źródło jest domyślnym punktem końcowym lub punktem końcowym MQTT z hostem aio-broker
Niestandardowy punkt końcowy jako źródłowy i docelowy	Nie, chyba że jeden z nich jest punktami końcowymi MQTT z hostem aio-broker

Ponowne używanie punktów końcowych

Każdy punkt końcowy przepływu danych należy traktować jako pakiet ustawień konfiguracji, który zawiera lokalizację, z której powinny pochodzić dane, lub przejść do ( host wartości), jak uwierzytelnić się za pomocą punktu końcowego i inne ustawienia, takie jak konfiguracja protokołu TLS lub preferencje dzielenia na partie. Dlatego wystarczy utworzyć go raz, a następnie użyć go ponownie w wielu przepływach danych, w których te ustawienia będą takie same.

Aby ułatwić ponowne używanie punktów końcowych, filtr tematu MQTT lub Kafka nie jest częścią konfiguracji punktu końcowego. Zamiast tego należy określić filtr tematu w konfiguracji przepływu danych. Oznacza to, że można użyć tego samego punktu końcowego dla wielu przepływów danych, które używają różnych filtrów tematów.

Można na przykład użyć domyślnego punktu końcowego przepływu danych brokera MQTT. Można go użyć zarówno dla źródła, jak i miejsca docelowego z różnymi filtrami tematów:

Portal

Bicep

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

Kubernetes (wersja zapoznawcza)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Podobnie można utworzyć wiele przepływów danych, które używają tego samego punktu końcowego MQTT dla innych punktów końcowych i tematów. Można na przykład użyć tego samego punktu końcowego MQTT dla przepływu danych, który wysyła dane do punktu końcowego usługi Event Hubs.

Portal

Bicep

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

Kubernetes (wersja zapoznawcza)

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Podobnie jak w przykładzie MQTT, można utworzyć wiele przepływów danych, które używają tego samego punktu końcowego platformy Kafka dla różnych tematów lub tego samego punktu końcowego usługi Data Lake dla różnych tabel.

Następne kroki

Tworzenie punktu końcowego przepływu danych:

• MQTT lub Event Grid
• Kafka lub Event Hubs
• Data Lake
• Microsoft Fabric OneLake
• Magazyn lokalny