Konfigurace koncových bodů toku dat pro Microsoft Fabric OneLake

Článek
11/20/2024

Důležité

Tato stránka obsahuje pokyny ke správě komponent operací Azure IoT pomocí manifestů nasazení Kubernetes, které jsou ve verzi Preview. Tato funkce je poskytována s několika omezeními a neměla by se používat pro produkční úlohy.

Právní podmínky, které platí pro funkce Azure, které jsou ve verzi beta, verzi Preview nebo které zatím nejsou veřejně dostupné, najdete v Dodatečných podmínkách použití pro Microsoft Azure verze Preview.

Pokud chcete odesílat data do Microsoft Fabric OneLake v operacích Azure IoT, můžete nakonfigurovat koncový bod toku dat. Tato konfigurace umožňuje zadat cílový koncový bod, metodu ověřování, tabulku a další nastavení.

Požadavky

Instance operací Azure IoT
Microsoft Fabric OneLake. Pokud chcete vytvořit pracovní prostor a jezero, postupujte následovně.
- Vytvořte pracovní prostor. Výchozí pracovní prostor není podporovaný.
- Vytvořte jezero.
- Pokud se zobrazí, ujistěte se, že schémata Lakehouse (Public Preview) není zaškrtnutá.
- Poznamenejte si názvy pracovních prostorů a jezer.
Ujistěte se, že instanční objekty můžou používat rozhraní API fabric.

Přiřazení oprávnění ke spravované identitě

Pokud chcete nakonfigurovat koncový bod toku dat pro Microsoft Fabric OneLake, doporučujeme použít spravovanou identitu přiřazenou uživatelem nebo systémem. Tento přístup je zabezpečený a eliminuje potřebu správy přihlašovacích údajů ručně.

Po vytvoření Microsoft Fabric OneLake je potřeba přiřadit roli spravované identitě azure IoT Operations, která uděluje oprávnění k zápisu do objektu Fabric Lakehouse.

Pokud používáte spravovanou identitu přiřazenou systémem, přejděte na webu Azure Portal do instance operací Azure IoT a vyberte Přehled. Zkopírujte název rozšíření uvedené za rozšířením Azure IoT Operations Arc. Například azure-iot-operations-xxxx7. Spravovanou identitu přiřazenou systémem najdete pomocí stejného názvu rozšíření Azure IoT Operations Arc.

Přejděte do pracovního prostoru Microsoft Fabric, který jste vytvořili, vyberte Spravovat přístup>+ Přidat lidi nebo skupiny.

Vyhledejte název spravované identity přiřazené uživatelem nastavený pro cloudová připojení nebo spravovanou identitu přiřazenou systémem. Například azure-iot-operations-xxxx7 .
Jako roli vyberte Přispěvatel a pak vyberte Přidat. Díky tomu má spravovaná identita potřebná oprávnění k zápisu do objektu Fabric Lakehouse. Další informace najdete v tématu Role v pracovních prostorech v Microsoft Fabric.

Vytvoření koncového bodu toku dat pro Microsoft Fabric OneLake

V provozním prostředí vyberte kartu Koncové body toku dat.
V části Vytvořit nový koncový bod toku dat vyberte Microsoft Fabric OneLake>New.

Zadejte následující nastavení pro koncový bod:

Nastavení	Popis
Host	Název hostitele koncového bodu Microsoft Fabric OneLake ve formátu `onelake.dfs.fabric.microsoft.com`.
Název jezera	Název jezera, do kterého se mají data ukládat.
Název pracovního prostoru	Název pracovníhoprostoruho
Typ cesty OneLake	Typ cesty použitý ve OneLake. Vyberte Soubory nebo tabulky.
Metoda ověřování	Metoda použitá k ověřování. Zvolte spravovanou identitu přiřazenou systémem nebo spravovanou identitu přiřazenou uživatelem.
Client ID	ID klienta spravované identity přiřazené uživatelem. Vyžaduje se, pokud používáte spravovanou identitu přiřazenou uživatelem.
ID tenanta	ID tenanta spravované identity přiřazené uživatelem. Vyžaduje se, pokud používáte spravovanou identitu přiřazenou uživatelem.

Vyberte Použít pro zřízení koncového bodu.

Vytvořte soubor Bicep .bicep s následujícím obsahem.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Pak nasaďte pomocí Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Vytvořte soubor manifestu .yaml Kubernetes s následujícím obsahem.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Pak použijte soubor manifestu na cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Typ cesty OneLake

Nastavení oneLakePathType určuje typ cesty, který se má použít v cestě OneLake. Výchozí hodnota je , což je Tablesdoporučený typ cesty pro nejběžnější případy použití. Typ Tables cesty je tabulka v Úložišti OneLake Lakehouse, která se používá k ukládání dat. Dá se také nastavit jako Filessoubor v OneLake Lakehouse, který se používá k ukládání dat. Typ Files cesty je užitečný, pokud chcete data uložit ve formátu souboru, který typ cesty nepodporuje Tables .

Typ cesty OneLake je nastavený na kartě Basic pro koncový bod toku dat.

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Dostupné metody ověřování

Pro koncové body toku dat Microsoft Fabric OneLake jsou k dispozici následující metody ověřování.

Spravovaná identita přiřazená systémem

Před konfigurací koncového bodu toku dat přiřaďte roli spravované identitě azure IoT Operations, která uděluje oprávnění k zápisu do objektu Fabric Lakehouse:

Na webu Azure Portal přejděte do instance operace Azure IoT a vyberte Přehled.
Zkopírujte název rozšíření uvedené za rozšířením Azure IoT Operations Arc. Například azure-iot-operations-xxxx7.
Přejděte do pracovního prostoru Microsoft Fabric a vyberte Spravovat přístup>+ Přidat lidi nebo skupiny.
Vyhledejte název spravované identity přiřazené systémem. Například azure-iot-operations-xxxx7 .
Vyberte příslušnou roli a pak vyberte Přidat.

Pak nakonfigurujte koncový bod toku dat s nastavením spravované identity přiřazené systémem.

Na stránce nastavení koncového bodu toku dat v provozním prostředí vyberte kartu Základní a pak zvolte spravovanou identitu přiřazenou systémem ověřování>.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Pokud potřebujete přepsat cílovou skupinu spravované identity přiřazené systémem, můžete zadat audience nastavení.

Ve většině případů nemusíte zadávat cílovou skupinu služeb. Nezadání cílové skupiny vytvoří spravovanou identitu s výchozí cílovou skupinou vymezenou na váš účet úložiště.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Spravovaná identita přiřazená uživatelem

Pokud chcete pro ověřování použít spravovanou identitu přiřazenou uživatelem, musíte nejprve nasadit operace Azure IoT s povoleným zabezpečeným nastavením. Pak musíte nastavit spravovanou identitu přiřazenou uživatelem pro cloudová připojení. Další informace najdete v tématu Povolení nastavení zabezpečení v nasazení operací Azure IoT.

Před konfigurací koncového bodu toku dat přiřaďte spravované identitě přiřazené uživatelem roli, která uděluje oprávnění k zápisu do objektu Fabric Lakehouse.:

Přejděte do pracovního prostoru Microsoft Fabric a vyberte Spravovat přístup>+ Přidat lidi nebo skupiny.
Vyhledejte název spravované identity přiřazené uživatelem.
Vyberte příslušnou roli a pak vyberte Přidat.

Pak nakonfigurujte koncový bod toku dat s nastavením spravované identity přiřazené uživatelem.

Na stránce nastavení koncového bodu toku dat v provozním prostředí vyberte kartu Základní a pak zvolte Spravovaná identita přiřazená metodou>ověřování.

Do příslušných polí zadejte ID klienta spravované identity přiřazené uživatelem a ID tenanta.

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Pokud chcete použít spravovanou identitu přiřazenou uživatelem, zadejte metodu UserAssignedManagedIdentity ověřování a zadejte tenantId clientId a spravovanou identitu.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

V této části je obor volitelný a výchozí hodnota https://storage.azure.com/.defaultje . Pokud potřebujete přepsat výchozí obor, zadejte scope nastavení pomocí Bicep nebo Kubernetes.

Rozšířené nastavení

Pro koncový bod Fabric OneLake můžete nastavit upřesňující nastavení, jako je latence dávkování a počet zpráv. Tato nastavení můžete nastavit na kartě Portál Advanced Portal koncového bodu toku dat nebo v rámci vlastního prostředku koncového bodu toku dat.

Dávkování

batching Pomocí nastavení můžete nakonfigurovat maximální počet zpráv a maximální latenci před odesláním zpráv do cíle. Toto nastavení je užitečné, když chcete optimalizovat šířku pásma sítě a snížit počet požadavků na cíl.

Pole	Popis	Povinní účastníci
`latencySeconds`	Maximální počet sekund čekání před odesláním zpráv do cíle. Výchozí hodnota je 60 sekund.	No
`maxMessages`	Maximální počet zpráv, které se mají odeslat do cíle. Výchozí hodnota je 1 00000 zpráv.	No

Pokud chcete například nakonfigurovat maximální počet zpráv na 1 000 a maximální latenci na 100 sekund, použijte následující nastavení:

V provozním prostředí vyberte kartu Upřesnit pro koncový bod toku dat.

Snímek obrazovky s provozním prostředím k nastavení upřesňujících nastavení Microsoft Fabric

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Další kroky

Další informace o tocích dat najdete v tématu Vytvoření toku dat.

Sdílet prostřednictvím