Konfigurera dataflödesslutpunkter för Microsoft Fabric OneLake

Artikel
11/20/2024

Viktigt!

Den här sidan innehåller instruktioner för att hantera Azure IoT Operations-komponenter med hjälp av Kubernetes-distributionsmanifest, som finns i förhandsversion. Den här funktionen har flera begränsningar och bör inte användas för produktionsarbetsbelastningar.

Juridiska villkor för Azure-funktioner i betaversion, förhandsversion eller som av någon annan anledning inte har gjorts allmänt tillgängliga ännu finns i kompletterande användningsvillkor för Microsoft Azure-förhandsversioner.

Om du vill skicka data till Microsoft Fabric OneLake i Azure IoT Operations kan du konfigurera en dataflödesslutpunkt. Med den här konfigurationen kan du ange målslutpunkt, autentiseringsmetod, tabell och andra inställningar.

Förutsättningar

En instans av Azure IoT Operations
Microsoft Fabric OneLake. Se följande steg för att skapa en arbetsyta och lakehouse.
- Skapa en arbetsyta. Standardvärdet för min arbetsyta stöds inte.
- Skapa ett sjöhus.
- Om det visas kontrollerar du att Lakehouse-scheman (offentlig förhandsversion) är avmarkerade.
- Anteckna namnen på arbetsytan och lakehouse.
Se till att tjänstens huvudnamn kan använda Infrastruktur-API:er.

Tilldela behörighet till hanterad identitet

För att konfigurera en dataflödesslutpunkt för Microsoft Fabric OneLake rekommenderar vi att du använder antingen en användartilldelad eller systemtilldelad hanterad identitet. Den här metoden är säker och eliminerar behovet av att hantera autentiseringsuppgifter manuellt.

När Microsoft Fabric OneLake har skapats måste du tilldela en roll till den hanterade Azure IoT Operations-identiteten som ger behörighet att skriva till Fabric Lakehouse.

Om du använder systemtilldelad hanterad identitet går du till din Azure IoT Operations-instans i Azure Portal och väljer Översikt. Kopiera namnet på tillägget som visas efter Azure IoT Operations Arc-tillägget. Till exempel azure-iot-operations-xxxx7. Du hittar din systemtilldelade hanterade identitet med samma namn som Azure IoT Operations Arc-tillägget.

Gå till Microsoft Fabric-arbetsytan som du skapade och välj Hantera åtkomst>+ Lägg till personer eller grupper.

Sök efter namnet på den användartilldelade hanterade identiteten som konfigurerats för molnanslutningar eller den systemtilldelade hanterade identiteten. Till exempel azure-iot-operations-xxxx7 .
Välj Deltagare som roll och välj sedan Lägg till. Detta ger den hanterade identiteten de behörigheter som krävs för att skriva till Fabric Lakehouse. Mer information finns i Roller på arbetsytor i Microsoft Fabric.

Skapa dataflödesslutpunkt för Microsoft Fabric OneLake

I driftupplevelsen väljer du fliken Dataflödesslutpunkter .
Under Skapa ny dataflödesslutpunkt väljer du Microsoft Fabric OneLake>Ny.

Ange följande inställningar för slutpunkten:

Inställning	beskrivning
Host	Värdnamnet för Microsoft Fabric OneLake-slutpunkten i formatet `onelake.dfs.fabric.microsoft.com`.
Lakehouse-namn	Namnet på det sjöhus där data ska lagras.
Namn på arbetsyta	Namnet på arbetsytan som är associerad med lakehouse.
Sökvägstyp för OneLake	Typ av sökväg som används i OneLake. Välj Filer eller tabeller.
Autentiseringsmetod	Den metod som används för autentisering. Välj Systemtilldelad hanterad identitet eller Användartilldelad hanterad identitet.
Client ID	Klient-ID för den användartilldelade hanterade identiteten. Krävs om du använder Användartilldelad hanterad identitet.
Klientorganisations-ID	Klientorganisations-ID för den användartilldelade hanterade identiteten. Krävs om du använder Användartilldelad hanterad identitet.

Välj Använd för att etablera slutpunkten.

Skapa en Bicep-fil .bicep med följande innehåll.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Distribuera sedan via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Skapa en Kubernetes-manifestfil .yaml med följande innehåll.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Tillämpa sedan manifestfilen på Kubernetes-klustret.

kubectl apply -f <FILE>.yaml

Sökvägstyp för OneLake

Inställningen oneLakePathType avgör vilken typ av sökväg som ska användas i OneLake-sökvägen. Standardvärdet är Tables, som är den rekommenderade sökvägstypen för de vanligaste användningsfallen. Sökvägstypen Tables är en tabell i OneLake Lakehouse som används för att lagra data. Det kan också anges som Files, vilket är en fil i OneLake Lakehouse som används för att lagra data. Sökvägstypen Files är användbar när du vill lagra data i ett filformat som inte stöds av sökvägstypen Tables .

Sökvägstypen OneLake anges på fliken Grundläggande för dataflödesslutpunkten.

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Tillgängliga autentiseringsmetoder

Följande autentiseringsmetoder är tillgängliga för Microsoft Fabric OneLake-dataflödesslutpunkter.

Systemtilldelad hanterad identitet

Innan du konfigurerar dataflödesslutpunkten tilldelar du en roll till den hanterade Azure IoT Operations-identiteten som ger behörighet att skriva till Fabric Lakehouse:

I Azure Portal går du till din Azure IoT Operations-instans och väljer Översikt.
Kopiera namnet på tillägget som visas efter Azure IoT Operations Arc-tillägget. Till exempel azure-iot-operations-xxxx7.
Gå till Microsoft Fabric-arbetsytan och välj Hantera åtkomst>+ Lägg till personer eller grupper.
Sök efter namnet på din systemtilldelade hanterade identitet. Till exempel azure-iot-operations-xxxx7 .
Välj en lämplig roll och välj sedan Lägg till.

Konfigurera sedan dataflödesslutpunkten med systemtilldelade inställningar för hanterad identitet.

På sidan Inställningar för dataflödesslutpunkt för driftupplevelse väljer du fliken Grundläggande och väljer sedan Autentiseringsmetod>Systemtilldelad hanterad identitet.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Om du behöver åsidosätta den systemtilldelade hanterade identitetspubliken kan du ange inställningen audience .

I de flesta fall behöver du inte ange en tjänstpublik. Om du inte anger en målgrupp skapas en hanterad identitet med standardpubliken begränsad till ditt lagringskonto.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Användartilldelad hanterad identitet

Om du vill använda användartilldelad hanterad identitet för autentisering måste du först distribuera Azure IoT-åtgärder med säkra inställningar aktiverade. Sedan måste du konfigurera en användartilldelad hanterad identitet för molnanslutningar. Mer information finns i Aktivera säkra inställningar i Azure IoT Operations-distribution.

Innan du konfigurerar dataflödesslutpunkten tilldelar du en roll till den användartilldelade hanterade identiteten som ger behörighet att skriva till Fabric lakehouse.:

Gå till Microsoft Fabric-arbetsytan och välj Hantera åtkomst>+ Lägg till personer eller grupper.
Sök efter namnet på din användartilldelade hanterade identitet.
Välj en lämplig roll och välj sedan Lägg till.

Konfigurera sedan dataflödesslutpunkten med användartilldelade hanterade identitetsinställningar.

På sidan inställningar för dataflödesslutpunkt för driftupplevelse väljer du fliken Grundläggande och väljer sedan Autentiseringsmetod>Användartilldelad hanterad identitet.

Ange användartilldelat klient-ID för hanterad identitet och klient-ID i lämpliga fält.

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Om du vill använda en användartilldelad hanterad identitet anger du UserAssignedManagedIdentity autentiseringsmetoden och anger clientId och tenantId för den hanterade identiteten.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Här är omfånget valfritt och standardvärdet är https://storage.azure.com/.default. Om du behöver åsidosätta standardomfånget anger du inställningen scope med Bicep eller Kubernetes.

Avancerade inställningar

Du kan ange avancerade inställningar för Fabric OneLake-slutpunkten, till exempel batchfördröjning och antal meddelanden. Du kan ange de här inställningarna på fliken Avancerad portal för dataflödesslutpunkt eller i den anpassade resursen för dataflödesslutpunkten.

Batchbearbetning

batching Använd inställningarna för att konfigurera det maximala antalet meddelanden och den maximala svarstiden innan meddelandena skickas till målet. Den här inställningen är användbar när du vill optimera för nätverksbandbredd och minska antalet begäranden till målet.

Fält	beskrivning	Obligatoriskt
`latencySeconds`	Det maximala antalet sekunder att vänta innan meddelanden skickas till målet. Standardvärdet är 60 sekunder.	Nej
`maxMessages`	Det maximala antalet meddelanden som ska skickas till målet. Standardvärdet är 100000 meddelanden.	Nej

Om du till exempel vill konfigurera det maximala antalet meddelanden till 1 000 och den maximala svarstiden till 100 sekunder använder du följande inställningar:

I driftupplevelsen väljer du fliken Avancerat för dataflödesslutpunkten.

Skärmbild som använder driftsupplevelsen för att ange avancerade inställningar för Microsoft Fabric.

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Nästa steg

Mer information om dataflöden finns i Skapa dataflöde.

Dela via