Gegevensstroomeindpunten configureren voor Microsoft Fabric OneLake

Belangrijk

Deze pagina bevat instructies voor het beheren van Azure IoT Operations-onderdelen met behulp van Kubernetes-implementatiemanifesten, die in preview zijn. Deze functie is voorzien van verschillende beperkingen en mag niet worden gebruikt voor productieworkloads.

Raadpleeg de Aanvullende voorwaarden voor Microsoft Azure-previews voor juridische voorwaarden die van toepassing zijn op Azure-functies die in bèta of preview zijn of die anders nog niet algemeen beschikbaar zijn.

Als u gegevens wilt verzenden naar Microsoft Fabric OneLake in Azure IoT Operations, kunt u een gegevensstroomeindpunt configureren. Met deze configuratie kunt u het doeleindpunt, de verificatiemethode, de tabel en andere instellingen opgeven.

Vereisten

• Een exemplaar van Azure IoT-bewerkingen
• Microsoft Fabric OneLake. Zie de volgende stappen om een werkruimte en lakehouse te maken.
  • Een werkruimte maken. De standaardinstelling voor mijn werkruimte wordt niet ondersteund.
  • Maak een lakehouse.
  • Als dit wordt weergegeven, controleert u of Lakehouse-schema's (openbare preview) is uitgeschakeld.
  • Noteer de namen van de werkruimte en lakehouse.
• Zorg ervoor dat service-principals fabric-API's kunnen gebruiken.

Machtiging toewijzen aan beheerde identiteit

Als u een gegevensstroomeindpunt wilt configureren voor Microsoft Fabric OneLake, raden we u aan een door de gebruiker toegewezen of door het systeem toegewezen beheerde identiteit te gebruiken. Deze methode is veilig en elimineert de noodzaak om referenties handmatig te beheren.

Nadat De Microsoft Fabric OneLake is gemaakt, moet u een rol toewijzen aan de beheerde identiteit van Azure IoT Operations die toestemming verleent om naar het Fabric Lakehouse te schrijven.

Als u een door het systeem toegewezen beheerde identiteit gebruikt, gaat u in Azure Portal naar uw Azure IoT Operations-exemplaar en selecteert u Overzicht. Kopieer de naam van de extensie die wordt vermeld na de Azure IoT Operations Arc-extensie. Bijvoorbeeld azure-iot-operations-xxxx7. Uw door het systeem toegewezen beheerde identiteit vindt u met dezelfde naam van de Azure IoT Operations Arc-extensie.

Ga naar de Microsoft Fabric-werkruimte die u hebt gemaakt, selecteer Toegang beheren>+ Personen of groepen toevoegen.

1. Zoek de naam van uw door de gebruiker toegewezen beheerde identiteit die is ingesteld voor cloudverbindingen of de door het systeem toegewezen beheerde identiteit. Bijvoorbeeld azure-iot-operations-xxxx7 .
2. Selecteer Inzender als de rol en selecteer Vervolgens Toevoegen. Hiermee krijgt u de beheerde identiteit de benodigde machtigingen om naar het Fabric Lakehouse te schrijven. Zie Rollen in werkruimten in Microsoft Fabric voor meer informatie.

Gegevensstroomeindpunt maken voor Microsoft Fabric OneLake

Portal

1. Selecteer in de bewerkingservaring het tabblad Gegevensstroomeindpunten .

2. Selecteer onder Nieuw gegevensstroomeindpunt maken de optie Microsoft Fabric OneLake>New.

   

3. Voer de volgende instellingen in voor het eindpunt:

   Instelling	Beschrijving
   Host	De hostnaam van het Microsoft Fabric OneLake-eindpunt in de indeling onelake.dfs.fabric.microsoft.com.
   Lakehouse-naam	De naam van het lakehouse waar de gegevens moeten worden opgeslagen.
   Werkruimtenaam	De naam van de werkruimte die is gekoppeld aan het lakehouse.
   OneLake-padtype	Het type pad dat wordt gebruikt in OneLake. Selecteer bestanden of tabellen.
   Verificatiemethode	De methode die wordt gebruikt voor verificatie. Kies Door het systeem toegewezen beheerde identiteit of door de gebruiker toegewezen beheerde identiteit.
   Client ID	De client-id van de door de gebruiker toegewezen beheerde identiteit. Vereist als u door de gebruiker toegewezen beheerde identiteit gebruikt.
   Tenant-id	De tenant-id van de door de gebruiker toegewezen beheerde identiteit. Vereist als u door de gebruiker toegewezen beheerde identiteit gebruikt.

4. Selecteer Toepassen om het eindpunt in te richten.

Bicep

Maak een Bicep-bestand .bicep met de volgende inhoud.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Implementeer vervolgens via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (preview)

Maak een Kubernetes-manifestbestand .yaml met de volgende inhoud.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Pas vervolgens het manifestbestand toe op het Kubernetes-cluster.

kubectl apply -f <FILE>.yaml

OneLake-padtype

De oneLakePathType instelling bepaalt het type pad dat moet worden gebruikt in het OneLake-pad. De standaardwaarde is Tables, wat het aanbevolen padtype is voor de meest voorkomende use cases. Het Tables padtype is een tabel in onelake lakehouse die wordt gebruikt om de gegevens op te slaan. Het kan ook worden ingesteld als Files, een bestand in het OneLake Lakehouse dat wordt gebruikt voor het opslaan van de gegevens. Het Files padtype is handig als u de gegevens wilt opslaan in een bestandsindeling die niet wordt ondersteund door het Tables padtype.

Portal

Het padtype OneLake wordt ingesteld op het tabblad Basic voor het gegevensstroomeindpunt.

Bicep

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

Kubernetes (preview)

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Beschikbare verificatiemethoden

De volgende verificatiemethoden zijn beschikbaar voor Microsoft Fabric OneLake-gegevensstroomeindpunten.

Door het systeem toegewezen beheerde identiteit

Voordat u het gegevensstroomeindpunt configureert, wijst u een rol toe aan de beheerde identiteit van Azure IoT Operations die machtigingen verleent voor schrijven naar fabric lakehouse:

1. Ga in Azure Portal naar uw Azure IoT Operations-exemplaar en selecteer Overzicht.
2. Kopieer de naam van de extensie die wordt vermeld na de Azure IoT Operations Arc-extensie. Bijvoorbeeld azure-iot-operations-xxxx7.
3. Ga naar de Microsoft Fabric-werkruimte, selecteer Toegang> beheren+ Personen of groepen toevoegen.
4. Zoek de naam van uw door het systeem toegewezen beheerde identiteit. Bijvoorbeeld azure-iot-operations-xxxx7 .
5. Selecteer een geschikte rol en selecteer vervolgens Toevoegen.

Configureer vervolgens het gegevensstroomeindpunt met door het systeem toegewezen beheerde identiteitsinstellingen.

Portal

Selecteer op de pagina eindpuntinstellingen voor gegevensstroombewerkingen het tabblad Basis en kies vervolgens de door het systeem toegewezen beheerde identiteit van de verificatiemethode>.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (preview)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Als u de door het systeem toegewezen beheerde identiteit wilt overschrijven, kunt u de audience instelling opgeven.

Portal

In de meeste gevallen hoeft u geen servicedoelgroep op te geven. Als u geen doelgroep opgeeft, wordt er een beheerde identiteit gemaakt met de standaarddoelgroep die is afgestemd op uw opslagaccount.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

Kubernetes (preview)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Door de gebruiker toegewezen beheerde identiteit

Als u door de gebruiker toegewezen beheerde identiteit wilt gebruiken voor verificatie, moet u Eerst Azure IoT Operations implementeren met beveiligde instellingen ingeschakeld. Vervolgens moet u een door de gebruiker toegewezen beheerde identiteit instellen voor cloudverbindingen. Zie Beveiligde instellingen inschakelen in azure IoT Operations-implementatie voor meer informatie.

Voordat u het gegevensstroomeindpunt configureert, wijst u een rol toe aan de door de gebruiker toegewezen beheerde identiteit die toestemming verleent om naar fabric lakehouse te schrijven.

1. Ga naar de Microsoft Fabric-werkruimte, selecteer Toegang> beheren+ Personen of groepen toevoegen.
2. Zoek de naam van uw door de gebruiker toegewezen beheerde identiteit.
3. Selecteer een geschikte rol en selecteer vervolgens Toevoegen.

Configureer vervolgens het gegevensstroomeindpunt met door de gebruiker toegewezen beheerde identiteitsinstellingen.

Portal

Selecteer op de pagina eindpuntinstellingen voor gegevensstroombewerkingen het tabblad Basic en kies vervolgens verificatiemethode>door de gebruiker toegewezen beheerde identiteit.

Voer de door de gebruiker toegewezen client-id en tenant-id in de juiste velden in.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kubernetes (preview)

Als u een door de gebruiker toegewezen beheerde identiteit wilt gebruiken, geeft u de UserAssignedManagedIdentity verificatiemethode op en geeft u de clientId en tenantId van de beheerde identiteit op.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Hier is het bereik optioneel en wordt standaard ingesteld op https://storage.azure.com/.default. Als u het standaardbereik wilt overschrijven, geeft u de scope instelling op met Bicep of Kubernetes.

Geavanceerde instellingen

U kunt geavanceerde instellingen instellen voor het Fabric OneLake-eindpunt, zoals de batchlatentie en het aantal berichten. U kunt deze instellingen instellen op het tabblad Advanced Portal van het gegevensstroomeindpunt of in de aangepaste resource voor het gegevensstroomeindpunt.

Batching

Gebruik de batching instellingen om het maximum aantal berichten en de maximale latentie te configureren voordat de berichten naar het doel worden verzonden. Deze instelling is handig als u wilt optimaliseren voor netwerkbandbreedte en het aantal aanvragen naar de bestemming wilt verminderen.

Veld	Beschrijving	Vereist
latencySeconds	Het maximum aantal seconden dat moet worden gewacht voordat de berichten naar de bestemming worden verzonden. De standaardwaarde is 60 seconden.	Nee
maxMessages	Het maximum aantal berichten dat naar de bestemming moet worden verzonden. De standaardwaarde is 100000 berichten.	Nee

Als u bijvoorbeeld het maximum aantal berichten wilt configureren op 1000 en de maximale latentie tot 100 seconden, gebruikt u de volgende instellingen:

Portal

Selecteer in de bewerkingservaring het tabblad Geavanceerd voor het gegevensstroomeindpunt.

Bicep

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (preview)

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Volgende stappen

Zie Gegevensstroom maken voor meer informatie over gegevensstromen.