Konfigurieren von Dataflowendpunkten für Azure Data Lake Storage Gen2

Artikel
11/22/2024

Wichtig

Diese Seite enthält Anweisungen zum Verwalten der Komponenten von Azure IoT Einsatz mithilfe von Kubernetes-Bereitstellungsmanifesten. Diese Option befindet sich in der Vorschau. Dieses Feature wird mit einigen Einschränkungen bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden.

Die zusätzlichen Nutzungsbestimmungen für Microsoft Azure-Vorschauen enthalten rechtliche Bedingungen. Sie gelten für diejenigen Azure-Features, die sich in der Beta- oder Vorschauversion befinden oder aber anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.

Um Daten in Azure IoT Einsatz an Azure Data Lake Storage Gen2 zu senden, können Sie einen Dataflowendpunkt konfigurieren. Mit dieser Konfiguration können Sie den Zielendpunkt, die Authentifizierungsmethode, die Tabelle und andere Einstellungen angeben.

Voraussetzungen

Eine Instanz von Azure IoT Einsatz
Ein Azure Data Lake Storage Gen2-Konto
Ein vorab erstellter Speichercontainer im Speicherkonto

Zuweisen von Berechtigungen zur verwalteten Identität

Um einen Datenflussendpunkt für Azure Data Lake Storage Gen2 zu konfigurieren, empfehlen wir, entweder eine benutzerseitig zugewiesene oder systemseitig zugewiesene verwaltete Identität zu verwenden. Dieser Ansatz ist sicher und beseitigt die Notwendigkeit der manuellen Verwaltung von Anmeldeinformationen.

Nachdem die Azure Data Lake Storage Gen2 erstellt wurde, müssen Sie der verwalteten Azure IoT Einsatz-Identität eine Rolle zuweisen, welche die Berechtigung zum Schreiben in die Datenbank erteilt.

Wenn Sie eine systemseitig zugewiesene verwaltete Identität verwenden, wechseln Sie im Azure-Portal zu Ihrer Azure IoT Einsatz-Instanz, und wählen Sie Übersicht aus. Kopieren Sie den Namen der Erweiterung, die nach der Arc-Erweiterung für Azure IoT Einsatz aufgeführt ist. Beispiel: azure-iot-operations-xxxx7. Ihre systemseitig zugewiesene verwaltete Identität hat denselben Namen wie die Arc-Erweiterung von Azure IoT Einsatz.

Wechseln Sie dann zum Azure Storage-Konto >Zugriffssteuerung (IAM)>Rollenzuweisung hinzufügen.

Wählen Sie auf der Registerkarte Rolle eine geeignete Rolle aus, z. B. Storage Blob Data Contributor. Dadurch erhält die verwaltete Identität die erforderlichen Berechtigungen zum Schreiben in die Azure Storage Blob-Container. Weitere Informationen finden Sie unter Autorisieren des Zugriffs auf Blobs mit Microsoft Entra ID.
Auf der Registerkarte Mitglieder:
1. Wenn Sie die systemseitig zugewiesene verwaltete Identität verwenden, wählen Sie für Zugriff zuweisen zu die Option Benutzer, Gruppe oder Dienstprinzipal aus, wählen Sie dann + Mitglieder auswählen aus, und suchen Sie nach dem Namen der Azure IoT Einsatz Arc-Erweiterung.
2. Wenn Sie eine benutzerseitig zugewiesene verwaltete Identität verwenden, wählen Sie für Zugriff zuweisen zu die Option Verwaltete Identität und anschließend + Mitglieder auswählen aus. Suchen Sie dann nach Ihrer Einrichtung der benutzerseitig zugewiesenen verwalteten Identität für Cloudverbindungen.

Erstellen eines Dataflowendpunkts für Azure Data Lake Storage Gen2

Wählen Sie im IoT Einsatz-Portal die Registerkarte Dataflowendpunkte aus.
Wählen Sie unter Neuen Dataflowendpunkt erstellen die Option Azure Data Lake Store (2. Generation)>Neu aus.

Geben Sie die folgenden Einstellungen für den Endpunkt ein:

Einstellung	BESCHREIBUNG
Name	Der Name des Dataflowendpunkts.
Host	Der Hostname des Azure Data Lake Storage Gen2-Endpunkts im Format `<account>.blob.core.windows.net`. Ersetzen Sie den Kontoplatzhalter durch den Endpunktkontonamen.
Authentifizierungsmethode	Die für die Authentifizierung verwendete Methode. Es wird empfohlen, Systemseitig zugewiesene verwaltete Identität oder Benutzerseitig zugewiesene verwaltete Identität auszuwählen.
Client-ID	Die Client-ID einer benutzerseitig zugewiesenen verwalteten Identität. Erforderlich bei Verwendung einer Benutzerseitig zugewiesenen verwalteten Identität.
Mandanten-ID	Die Instanz-ID der benutzerseitig zugewiesenen verwalteten Identität. Erforderlich bei Verwendung einer Benutzerseitig zugewiesenen verwalteten Identität.
Name des geheimen Tokenschlüssels für den Zugriff	Der Name des Kubernetes-Geheimnisses, der das SAS-Token enthält. Erforderlich bei Verwendung des Zugriffstokens.

Wählen Sie Übernehmen aus, um den Endpunkt bereitzustellen.

Erstellen Sie eine Bicep-Datei (.bicep) mit folgendem Inhalt:

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Stellen Sie sie dann über die Azure CLI bereit:

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Erstellen Sie eine Kubernetes-Manifestdatei (.yaml) mit folgendem Inhalt:

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Wenden Sie dann die Manifestdatei auf den Kubernetes-Cluster an:

kubectl apply -f <FILE>.yaml

Verwenden der Zugriffstokenauthentifizierung

Führen Sie die Schritte im Abschnitt Zugriffstoken aus, um ein SAS-Token für das Speicherkonto abzurufen und es in einem Kubernetes-Geheimschlüssel zu speichern.

Erstellen Sie dann die DataflowEndpoint-Ressource, und geben Sie die Authentifizierungsmethode „Zugriffstoken“ an. Ersetzen Sie hier <SAS_SECRET_NAME> durch den Namen des Geheimnisses, das das SAS-Token und andere Platzhalterwerte enthält.

Im Abschnitt Zugriffstoken finden Sie Schritte zum Erstellen eines geheimen Schlüssels im Portal der Einsatz-Benutzeroberfläche.

Erstellen Sie eine Bicep-Datei (.bicep) mit folgendem Inhalt:

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Stellen Sie sie dann über die Azure CLI bereit:

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Erstellen Sie eine Kubernetes-Manifestdatei (.yaml) mit folgendem Inhalt:

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Wenden Sie dann die Manifestdatei auf den Kubernetes-Cluster an:

kubectl apply -f <FILE>.yaml

Verfügbare Authentifizierungsmethoden

Die folgenden Authentifizierungsmethoden sind für Azure Data Lake Storage Gen2-Endpunkte verfügbar.

Systemseitig zugewiesene verwaltete Identität

Bevor Sie den Datenflussendpunkt konfigurieren, weisen Sie der verwalteten Identität von Azure IoT Einsatz eine Rolle mit der Berechtigung zum Schreiben in das Speicherkonto zu:

Wechseln Sie im Azure-Portal zu Ihrer Azure IoT Einsatz-Instanz, und wählen Sie Übersicht aus.
Kopieren Sie den Namen der Erweiterung, die nach der Arc-Erweiterung für Azure IoT Einsatz aufgeführt ist. Beispiel: azure-iot-operations-xxxx7.
Wechseln Sie zu der Cloudressource, der Sie Berechtigungen zuweisen möchten. Wechseln Sie beispielsweise zum Azure Storage-Konto >Zugriffssteuerung (IAM)>Rollenzuweisung hinzufügen.
Wählen Sie auf der Registerkarte Rolle eine geeignete Rolle aus.
Wählen Sie auf der Registerkarte Mitglieder für Zugriff zuweisen zu die Option Benutzer, Gruppe oder Dienstprinzipal nud anschließend + Mitglieder auswählen aus. Suchen Sie dann nach der verwalteten Identität von Azure IoT Einsatz. Beispiel: azure-iot-operations-xxxx7.

Konfigurieren Sie dann den Datenflussendpunkt mit den Einstellungen der systemseitig zugewiesenen verwalteten Identität.

Wählen Sie auf der Seite „Einstellungen“ für den Dataflowendpunkt auf der Einsatz-Benutzeroberfläche die Registerkarte Allgemeine Informationen und dann Authentifizierungsmethode>Systemseitig zugewiesene verwaltete Identität aus.

In den meisten Fällen müssen Sie keine Dienstgruppe angeben. Wenn Sie keine Benutzergruppe angeben, wird eine verwaltete Identität mit der Standardzielgruppe erstellt, die auf Ihr Speicherkonto ausgelegt ist.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Wenn Sie die Zielgruppe der systemseitig zugewiesenen verwalteten Identität außer Kraft setzen müssen, können Sie die Einstellung audience angeben.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Benutzerseitig zugewiesene verwaltete Identität

Um eine benutzerseitig zugewiesene verwaltete Identität für die Authentifizierung zu verwenden, müssen Sie zuerst Azure IoT Einsatz mit aktivierten sicheren Einstellungen bereitstellen. Anschließend müssen Sie eine benutzerseitig zugewiesene verwaltete Identität für Cloudverbindungen einrichten. Weitere Informationen finden Sie unter Aktivieren sicherer Einstellungen bei der Bereitstellung von Azure IoT Einsatz.

Bevor Sie den Datenflussendpunkt konfigurieren, weisen Sie der benutzerseitig zugewiesenen verwalteten Identität eine Rolle mit der Berechtigung zum Schreiben in das Speicherkonto zu:

Navigieren Sie im Azure-Portal zu der Cloudressource, der Sie Berechtigungen zuweisen möchten. Wechseln Sie beispielsweise zum Azure Storage-Konto >Zugriffssteuerung (IAM)>Rollenzuweisung hinzufügen.
Wählen Sie auf der Registerkarte Rolle eine geeignete Rolle aus.
Wählen Sie auf der Registerkarte Mitglieder für Zugriff zuweisen zu die Option Verwaltete Identität und anschließend + Mitglieder auswählen aus. Suchen Sie dann nach Ihrer benutzerseitig zugewiesenen verwalteten Identität.

Konfigurieren Sie danach den Datenflussendpunkt mit den Einstellungen der benutzerseitig zugewiesenen verwalteten Identität.

Wählen Sie auf der Seite „Einstellungen“ für den Dataflowendpunkt auf der Einsatz-Benutzeroberfläche die Registerkarte Allgemeine Informationen und dann Authentifizierungsmethode>Benutzerseitig zugewiesene verwaltete Identität aus.

Geben Sie die Client-ID der benutzerseitig zugewiesenen verwalteten Identitätsclient-ID und die Mandanten-ID in die entsprechenden Felder ein.

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Hier ist der Umfang optional und standardmäßig auf https://storage.azure.com/.default festgelegt. Wenn Sie den Standardbereich überschreiben müssen, geben Sie die Einstellung scope über das Bicep- oder Kubernetes-Manifest an.

Zugriffstoken

Die Verwendung eines Zugriffstokens ist eine alternative Authentifizierungsmethode. Für diese Methode müssen Sie einen Kubernetes-Geheimschlüssel mit dem SAS-Token erstellen und in der DataflowEndpoint-Ressource auf den geheimen Schlüssel verweisen.

Rufen Sie ein SAS-Token für ein Azure Data Lake Storage Gen2 (ADLSv2) Konto ab. Verwenden Sie zum Beispiel das Azure-Portal, um Ihr Speicherkonto aufzurufen. Wählen Sie im linken Menü Sicherheit und Netzwerk>Shared Access Signature aus. Verwenden Sie die folgende Tabelle, um die erforderlichen Berechtigungen festzulegen.

Parameter	Aktivierte Einstellung
Zulässige Dienste	Blob
Zulässige Ressourcentypen	Objekt, Container
Zugelassene Berechtigungen	Lesen, Schreiben, Löschen, Auflisten, Erstellen

Um die Sicherheit zu verbessern und dem Prinzip der geringsten Rechte zu folgen, können Sie ein SAS-Token für einen bestimmten Container generieren. Um Authentifizierungsfehler zu verhindern, stellen Sie sicher, dass der im SAS-Token angegebene Container mit der Zieleinstellung des Dataflows in der Konfiguration übereinstimmt.

Wichtig

Um das Einsatz-Portal zum Verwalten von Geheimnissen zu verwenden, muss Azure IoT Einsatz zuerst mit sicheren Einstellungen aktiviert werden, indem Sie eine Azure Key Vault-Instanz konfigurieren und Workloadidentitäten aktivieren. Weitere Informationen finden Sie unter Aktivieren sicherer Einstellungen bei der Bereitstellung von Azure IoT Einsatz.

Geben Sie hier unter Synchronisierter Geheimnisname einen Namen für das Geheimnis ein. Dieser Name wird verwendet, um in den Einstellungen des Datenflussendpunkts auf das Geheimnis zu verweisen. Es ist auch der Geheimnisname, der im Kubernetes-Cluster gespeichert ist.

Wählen Sie dann unter Namen des geheimen Zugriffstokenschlüssels Verweis hinzufügen aus, um den geheimen Schlüssel aus Azure Key Vault hinzuzufügen. Wählen Sie auf der nächsten Seite das Geheimnis mit Aus Azure Key Vault hinzufügen aus Azure Key Vault aus, oder erstellen Sie mit Neu erstellen ein neues Geheimnis.

Wenn Sie Neu erstellen auswählen, geben Sie die folgenden Einstellungen ein:

Einstellung	Beschreibung
Geheimnisname	Der Name des Geheimnisses in Azure Key Vault. Wählen Sie einen Namen aus, der sich einfach merken lässt, um das Geheimnis später in der Liste auswählen zu können.
Geheimer Wert	Das Format des SAS-Tokens ist: `'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'`.
Aktivierungsdatum festlegen	Wenn diese Option aktiviert ist, das Datum, an dem das Geheimnis aktiv wird.
Festlegen des Ablaufdatums	Wenn diese Option deaktiviert ist, das Datum, an dem das Geheimnis abläuft.

Weitere Informationen zu Geheimnissen finden Sie unter Verwalten von Geheimnissen für Ihre Bereitstellung von Azure IoT Einsatz.

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Erstellen Sie ein Kubernetes-Geheimnis mit dem SAS-Token.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Erweiterte Einstellungen

Sie können erweiterte Einstellungen für den Azure Data Lake Storage Gen2-Endpunkt festlegen, z. B. die Batchlatenz und die Nachrichtenanzahl.

Verwenden Sie die batching-Einstellungen, um die maximale Anzahl von Nachrichten und die maximale Latenz zu konfigurieren, bevor die Nachrichten an das Ziel gesendet werden. Diese Einstellung ist nützlich, wenn Sie die Netzwerkbandbreite optimieren und die Anzahl der Anforderungen an das Ziel reduzieren möchten.

Feld	Beschreibung	Erforderlich
`latencySeconds`	Die maximale Anzahl von Sekunden, die vor dem Senden der Nachrichten an das Ziel gewartet werden sollen. Der Standardwert beträgt 60 Sekunden.	No
`maxMessages`	Die Maximale Anzahl der Nachrichten, die an das Ziel gesendet werden sollen. Der Standardwert beträgt 100.000 Meldungen.	No

Wenn Sie beispielsweise die maximale Anzahl von Nachrichten auf 1000 und die maximale Latenz auf 100 Sekunden konfigurieren möchten, verwenden Sie die folgenden Einstellungen:

Wählen Sie auf der Einsatz-Benutzeroberfläche die Registerkarte Erweitert für den Dataflowendpunkt aus.

Screenshot, der die Erfahrung aus dem Einsatz nutzt, um erweiterte Einstellungen für ADLS V2 festzulegen.

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Nächste Schritte

Weitere Informationen zu Datenflüssen finden Sie unter Erstellen eines Datenflusses.
Ein Tutorial zum Verwenden eines Datenflusses zum Senden von Daten an Azure Data Lake Storage Gen2 finden Sie im Tutorial: Senden von Daten an Azure Data Lake Storage Gen2.

Freigeben über