Konfigurieren von Dataflowendpunkten für Microsoft Fabric OneLake

Artikel
11/22/2024

Wichtig

Diese Seite enthält Anweisungen zum Verwalten der Komponenten von „Azure IoT Einsatz“ mithilfe von Kubernetes-Bereitstellungsmanifesten. Diese Option befindet sich in der Vorschau. Dieses Feature wird mit einigen Einschränkungen bereitgestellt und darf nicht für Produktionsworkloads verwendet werden.

Die zusätzlichen Nutzungsbestimmungen für Microsoft Azure-Vorschauen enthalten rechtliche Bedingungen. Sie gelten für diejenigen Azure-Features, die sich in der Beta- oder Vorschauversion befinden oder aber anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.

Um Daten in Azure IoT Einsatz an Microsoft Fabric OneLake zu senden, können Sie einen Datenflussendpunkten konfigurieren. Mit dieser Konfiguration können Sie den Zielendpunkt, die Authentifizierungsmethode, die Tabelle und andere Einstellungen angeben.

Voraussetzungen

Eine Instanz von Azure IoT Einsatz
Microsoft Fabric OneLake. Führen Sie die folgenden Schritte aus, um einen Arbeitsbereich und ein Lakehouse zu erstellen.
- Erstellen eines Arbeitsbereichs Die Standardoption mein Arbeitsbereich wird nicht unterstützt.
- Erstellen eines Lakehouse
- Falls die Option Lakehouse-Schemas (Public Preview) angezeigt wird, stellen Sie sicher, dass sie deaktiviert ist.
- Notieren Sie sich den Namen des Arbeitsbereichs und des Lakehouse.
Stellen Sie sicher, dass Dienstprinzipale Fabric-APIs verwenden können.

Zuweisen von Berechtigungen zur verwalteten Identität

Um einen Datenflussendpunkt für Microsoft Fabric OneLake zu konfigurieren, empfehlen wir, entweder eine benutzerseitig zugewiesene oder systemseitig zugewiesene verwaltete Identität zu verwenden. Dieser Ansatz ist sicher und beseitigt die Notwendigkeit der manuellen Verwaltung von Anmeldeinformationen.

Nachdem Microsoft Fabric OneLake erstellt wurde, müssen Sie der verwalteten Azure IoT Einsatz-Identität eine Rolle zuweisen, welche die Berechtigung zum Schreiben in das Fabric Lakehouse gewährt.

Wenn Sie systemseitig zugewiesene verwaltete Identität verwenden, wechseln Sie im Azure-Portal zu Ihrer Azure IoT Einsatz-Instanz, und wählen Sie Übersicht aus. Kopieren Sie den Namen der Erweiterung, die nach der Arc-Erweiterung für Azure IoT Einsatz aufgeführt ist. Beispiel: azure-iot-operations-xxxx7. Ihre systemseitig zugewiesene verwaltete Identität kann über denselben Namen der Azure IoT Einsatz Arc-Erweiterung gefunden werden.

Wechseln Sie zu Ihrem erstellten Microsoft Fabric-Arbeitsbereich und wählen Sie Zugriff verwalten>+ Personen oder Gruppen hinzufügen aus.

Suchen Sie nach dem Namen Ihrer vom Benutzer zugewiesenen verwalteten Identität, die für Cloudverbindungen oder der vom System zugewiesenen verwalteten Identität eingerichtet wurde. Beispiel: azure-iot-operations-xxxx7.
Wählen Sie die Rolle Mitwirkende*r und dann Hinzufügen aus. Dadurch erhält die verwaltete Identität die erforderlichen Berechtigungen zum Schreiben in das Fabric Lakehouse. Weitere Informationen finden Sie unter Rollen in Arbeitsbereichen in Microsoft Fabric.

Erstellen eines Datenflussendpunkts für Microsoft Fabric OneLake

Wählen Sie auf der Einsatz-Benutzeroberfläche die Registerkarte Dataflowendpunkte aus.
Wählen Sie unter Neuen Dataflowendpunkt erstellen die Option Microsoft Fabric OneLake>Neu aus.

Geben Sie die folgenden Einstellungen für den Endpunkt ein:

Einstellung	Beschreibung
Host	Der Hostname des Microsoft Fabric OneLake-Endpunkts im Format `onelake.dfs.fabric.microsoft.com`.
Lakehouse-Name	Der Name des Lakehouse, in dem die Daten gespeichert werden sollen.
Arbeitsbereichname	Der Name des Arbeitsbereichs, dem das Lakehouse zugeordnet ist.
OneLake-Pfadtyp	Der Pfadtyp, der in OneLake verwendet wird. Wählen Sie Dateien oder Tabellen aus.
Authentifizierungsmethode	Die für die Authentifizierung verwendete Methode. Wählen Sie Systemseitig zugewiesene verwaltete Identität oder benutzerseitig zugewiesene verwaltete Identität aus.
Client-ID	Die Client-ID einer benutzerseitig zugewiesenen verwalteten Identität. Erforderlich bei Verwendung einer Benutzerseitig zugewiesenen verwalteten Identität.
Mandanten-ID	Die Instanz-ID der benutzerseitig zugewiesenen verwalteten Identität. Erforderlich bei Verwendung einer Benutzerseitig zugewiesenen verwalteten Identität.

Wählen Sie Übernehmen aus, um den Endpunkt bereitzustellen.

Erstellen Sie eine Bicep-Datei (.bicep) mit folgendem Inhalt:

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Stellen Sie sie dann über die Azure CLI bereit:

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Erstellen Sie eine Kubernetes-Manifestdatei (.yaml) mit folgendem Inhalt:

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Wenden Sie dann die Manifestdatei auf den Kubernetes-Cluster an:

kubectl apply -f <FILE>.yaml

OneLake-Pfadtyp

Die Einstellung oneLakePathType bestimmt die Art des zu verwendenden Pfads im OneLake-Pfad. Der Standardwert ist Tables (der empfohlene Pfadtyp für die gängigsten Anwendungsfälle). Der Pfadtyp Tables ist eine Tabelle im OneLake-Lakehouse, die zum Speichern der Daten verwendet wird. Er kann auch auf Files festgelegt werden. Hierbei handelt es sich um eine Datei im OneLake-Lakehouse, die zum Speichern der Daten verwendet wird. Der Pfadtyp Files ist nützlich, wenn Sie die Daten in einem Dateiformat speichern möchten, das vom Pfadtyp Tables nicht unterstützt wird.

Der OneLake-Pfadtyp wird auf der Registerkarte Standard für den Datenflussendpunkt festgelegt.

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Verfügbare Authentifizierungsmethoden

Die folgenden Authentifizierungsmethoden sind für Dataflowendpunkte der Microsoft Fabric OneLake-Dataflowendpunkte verfügbar.

Systemseitig zugewiesene verwaltete Identität

Bevor Sie den Datenflussendpunkt konfigurieren, weisen Sie der verwalteten Identität von Azure IoT Einsatz eine Rolle mit der Berechtigung zum Schreiben in das Fabric-Lakehouse zu:

Wechseln Sie im Azure-Portal zu Ihrer Azure IoT Einsatz-Instanz, und wählen Sie Übersicht aus.
Kopieren Sie den Namen der Erweiterung, die nach der Arc-Erweiterung für Azure IoT Einsatz aufgeführt ist. Beispiel: azure-iot-operations-xxxx7.
Wechseln Sie zu Microsoft Fabric-Arbeitsbereich und wählen Sie Zugriff verwalten>+ Personen oder Gruppen hinzufügen aus.
Suchen Sie nach dem Namen Ihrer vom System zugewiesenen verwalteten Identität. Beispiel: azure-iot-operations-xxxx7.
Wählen Sie eine entsprechende Rolle aus, und wählen Sie dann Hinzufügen aus.

Konfigurieren Sie dann den Datenflussendpunkten mit den Einstellungen der systemseitig zugewiesenen verwalteten Identität.

Wählen Sie auf der Seite „Einstellungen“ für den Dataflowendpunkt auf der Einsatz-Benutzeroberfläche die Registerkarte Allgemeine Informationen und dann Authentifizierungsmethode>Systemseitig zugewiesene verwaltete Identität aus.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Wenn Sie die Zielgruppe der systemseitig zugewiesenen verwalteten Identität außer Kraft setzen müssen, können Sie die Einstellung audience angeben.

In den meisten Fällen müssen Sie keine Dienstgruppe angeben. Wenn Sie keine Benutzergruppe angeben, wird eine verwaltete Identität mit der Standardzielgruppe erstellt, die auf Ihr Speicherkonto ausgelegt ist.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Benutzerseitig zugewiesene verwaltete Identität

Um die benutzerseitig verwaltete Identität für die Authentifizierung zu verwenden, müssen Sie zuerst Azure IoT Einsatz mit aktivierten sicheren Einstellungen bereitstellen. Anschließend müssen Sie eine benutzerseitig zugewiesene verwaltete Identität für Cloudverbindungen einrichten. Weitere Informationen finden Sie unter Aktivieren sicherer Einstellungen in der Bereitstellung von Azure IoT Einsatz.

Bevor Sie den Datenflussendpunkt konfigurieren, weisen Sie der benutzerseitig zugewiesenen verwalteten Identität eine Rolle mit der Berechtigung zum Schreiben in das Fabric-Lakehouse zu:

Wechseln Sie zu Microsoft Fabric-Arbeitsbereich und wählen Sie Zugriff verwalten>+ Personen oder Gruppen hinzufügen aus.
Suchen Sie nach dem Namen Ihrer vom Benutzer zugewiesenen verwalteten Identität.
Wählen Sie eine entsprechende Rolle aus, und wählen Sie dann Hinzufügen aus.

Konfigurieren Sie dann den Datenflussendpunkten mit den Einstellungen der benutzerseitig zugewiesenen verwalteten Identität.

Wählen Sie auf der Seite „Einstellungen“ für den Dataflowendpunkt auf der Einsatz-Benutzeroberfläche die Registerkarte Allgemeine Informationen und dann Authentifizierungsmethode>Benutzerseitig zugewiesene verwaltete Identität aus.

Geben Sie die Client-ID der benutzerseitig zugewiesenen verwalteten Identitätsclient-ID und die Mandanten-ID in die entsprechenden Felder ein.

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Um eine benutzerseitig zugewiesene verwaltete Identität zu verwenden, geben Sie die Authentifizierungsmethode UserAssignedManagedIdentity an, und stellen Sie die clientId und die tenantId der verwalteten Identität bereit.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Hier ist der Umfang optional und standardmäßig auf https://storage.azure.com/.default festgelegt. Wenn Sie den Standardbereich überschreiben müssen, geben Sie die Einstellung scope mit Bicep oder Kubernetes an.

Erweiterte Einstellungen

Sie können erweiterte Einstellungen für den Fabric OneLake-Endpunkt festlegen, z. B. die Batchlatenz und die Nachrichtenanzahl. Sie können diese Einstellungen auf der Portalregisterkarte Erweitert des Dataflowendpunkts oder in der benutzerdefinierten Ressource des Dataflowendpunkts festlegen.

Batchverarbeitung

Verwenden Sie die batching-Einstellungen, um die maximale Anzahl von Nachrichten und die maximale Latenz zu konfigurieren, bevor die Nachrichten an das Ziel gesendet werden. Diese Einstellung ist nützlich, wenn Sie die Netzwerkbandbreite optimieren und die Anzahl der Anforderungen an das Ziel reduzieren möchten.

Feld	Beschreibung	Erforderlich
`latencySeconds`	Die maximale Anzahl von Sekunden, die vor dem Senden der Nachrichten an das Ziel gewartet werden sollen. Der Standardwert beträgt 60 Sekunden.	No
`maxMessages`	Die Maximale Anzahl der Nachrichten, die an das Ziel gesendet werden sollen. Der Standardwert beträgt 100.000 Meldungen.	No

Wenn Sie beispielsweise die maximale Anzahl von Nachrichten auf 1000 und die maximale Latenz auf 100 Sekunden konfigurieren möchten, verwenden Sie die folgenden Einstellungen:

Wählen Sie auf der Einsatz-Benutzeroberfläche die Registerkarte Erweitert für den Dataflowendpunkt aus.

Screenshot, der die Erfahrung aus dem Einsatz nutzt, um erweiterte Einstellungen für Microsoft Fabric festzulegen.

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Nächste Schritte

Weitere Informationen zu Datenflüssen finden Sie unter Erstellen eines Datenflusses.

Freigeben über