Configurer des points de terminaison de flux de données pour Microsoft Fabric OneLake

Article
11/20/2024

Important

Cette page contient des instructions pour la gestion des composants d’Opérations Azure IoT en utilisant des manifestes de déploiement Kubernetes, qui est en préversion. Cette fonctionnalité est fournie avec plusieurs limitations et ne doit pas être utilisée pour les charges de travail de production.

Pour connaître les conditions juridiques qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou plus généralement non encore en disponibilité générale, consultez l’Avenant aux conditions d’utilisation des préversions de Microsoft Azure.

Pour envoyer des données à Microsoft Fabric OneLake dans Opérations Azure IoT, vous pouvez configurer un point de terminaison de flux de données. Cette configuration vous permet de spécifier le point de terminaison de destination, la méthode d’authentification, la table et d’autres paramètres.

Prérequis

Une instance d’Opérations Azure IoT
Microsoft Fabric OneLake. Reportez-vous aux étapes suivantes pour créer un espace de travail et un lakehouse.
- Créez un espace de travail. L’espace de travail par défaut Mon espace de travail n’est pas pris en charge.
- Créer un lakehouse.
- Si l’élément s’affiche, vérifiez que l’option Schémas Lakehouse (Préversion publique) n’est pas cochée.
- Notez les noms de l’espace de travail et du lakehouse.
Assurez-vous que les principaux de service peuvent utiliser des API Fabric.

Attribuer une autorisation à une identité managée

Pour configurer un point de terminaison de flux de données pour Microsoft Fabric OneLake, nous vous recommandons d’utiliser une identité managée affectée par le système ou l’utilisateur. Cette approche est sécurisée et élimine la nécessité de gérer manuellement les informations d’identification.

Une fois que Microsoft Fabric OneLake a été créé, vous devez attribuer un rôle à l’identité managée Opérations Azure IoT qui accorde l’autorisation d’écrire dans le lakehouse Fabric.

Si vous utilisez l’identité managée affectée par le système, accédez à votre instance d’Opérations Azure IoT dans le Portail Azure, puis sélectionnez Vue d’ensemble. Copiez le nom de l’extension mentionné après Extension Arc Opérations Azure IoT. Par exemple, azure-iot-operations-xxxx7. Vous trouverez votre identité managée affectée par le système en utilisant le même nom que l’extension Arc Opérations Azure IoT.

Accédez à l’espace de travail Microsoft Fabric que vous avez créé et sélectionnez Gérer l’accès>+ Ajouter des personnes ou des groupes.

Recherchez le nom de votre identité managée affectée par l’utilisateur configurée pour les connexions cloud ou l’identité managée affectée par le système. Par exemple, azure-iot-operations-xxxx7.
Sélectionnez Contributeur en tant que rôle, puis sélectionnez Ajouter. Cela donne à l’identité managée les autorisations nécessaires pour écrire dans la lakehouse Fabric. Pour en savoir plus, consultez Rôles dans les espaces de travail dans Microsoft Fabric.

Créer un point de terminaison de flux de données pour Microsoft Fabric OneLake

Dans l’expérience des opérations, sélectionnez l’onglet Points de terminaison de flux de données.
Sous Créer un point de terminaison de flux de données, sélectionnez Microsoft Fabric OneLake>Nouveau.

Entrez les paramètres suivants pour le point de terminaison :

Setting	Description
Host	Le nom d'hôte du point d'extrémité Microsoft Fabric OneLake au format `onelake.dfs.fabric.microsoft.com`.
Nom de Lakehouse	Nom de la lakehouse où les données doivent être stockées.
Nom de l’espace de travail	Le nom de l'espace de travail associé à la maison du lac.
Type de chemin d’accès à OneLake	Type de chemin d’accès utilisé dans OneLake. Sélectionnez Fichiers ou Tables.
Méthode d’authentification	Méthode utilisée pour l’authentification. Sélectionnez Identité managée affectée par le système ou Identité managée affectée par l’utilisateur.
ID client	ID client de l'identité managée affectée par l'utilisateur. Obligatoire si vous utilisez une identité managée affectée par l’utilisateur.
Tenant ID	L'identifiant du locataire de l'identité managée affectée par l'utilisateur. Obligatoire si vous utilisez une identité managée affectée par l’utilisateur.

Sélectionnez Appliquer pour approvisionner le point de terminaison.

Créez un fichier Bicep .bicep avec le contenu suivant.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Effectuez ensuite le déploiement via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Créez un fichier manifeste Kubernetes .yaml avec le contenu suivant.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Appliquez ensuite le fichier manifeste au cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Type de chemin d’accès à OneLake

Le paramètre oneLakePathType détermine le type de chemin d’accès à utiliser dans le chemin d’accès OneLake. La valeur par défaut est Tables, qui est le type de chemin d’accès recommandé pour les cas d’utilisations les plus courants. Le type de chemin d’accès Tables est une table dans le lakehouse OneLake utilisée pour stocker les données. Vous pouvez également le définir en tant que Files, qui est une table dans le lakehouse OneLake utilisée pour stocker les données. Le type de chemin d’accès Files est utile lorsque vous souhaitez stocker les données dans un format de fichier non pris en charge par le type de chemin d’accès Tables.

Le type de chemin OneLake est défini sous l’onglet de base du point de terminaison de flux de données.

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Méthodes d'authentification disponibles

Les méthodes d’authentification suivantes sont disponibles pour les points de terminaison de flux de données Microsoft Fabric OneLake.

Identité managée affectée par le système

Avant de configurer le point de terminaison de flux de données, attribuez un rôle à l’identité managée Opérations Azure IoT qui accorde l’autorisation d’écrire dans la lakehouse Fabric :

Dans le Portail Azure, accédez à votre instance d’Opérations Azure IoT, puis sélectionnez Vue d’ensemble.
Copiez le nom de l’extension mentionné après Extension Arc Opérations Azure IoT. Par exemple, azure-iot-operations-xxxx7.
Accédez à l’espace de travail Microsoft Fabric et sélectionnez Gérer l’accès>+ Ajouter des personnes ou des groupes.
Recherchez le nom de votre identité managée affectée par le système. Par exemple, azure-iot-operations-xxxx7.
Sélectionnez un rôle approprié, puis sélectionnez Ajouter.

Ensuite, configurez le point de terminaison de flux de données avec les paramètres d’identité managée affectée par le système.

Dans la page des paramètres du point de terminaison de flux de données de l’expérience des opérations, sélectionnez l’onglet Informations de base, puis choisissez Méthode d’authentification>Identité managée affectée par le système.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Si vous devez remplacer l’audience de l’identité managée affectée par le système, vous pouvez spécifier le paramètre audience.

Dans la plupart des cas, vous n’avez pas besoin de spécifier une audience du service. Le fait de ne pas spécifier d’audience crée une identité managée avec l’audience par défaut délimitée à votre compte de stockage.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Identité managée affectée par l’utilisateur

Pour utiliser l’identité managée affectée par l’utilisateur à des fins d’authentification, vous devez d’abord déployer Opérations Azure IoT avec les paramètres sécurisés activés. Vous devez ensuite configurer une identité managée affectée par l’utilisateur pour les connexions cloud. Pour en savoir plus, consultez Activer les paramètres sécurisés dans un déploiement d’Opérations Azure IoT.

Avant de configurer le point de terminaison de flux de données, attribuez un rôle à l’identité managée affectée par l’utilisateur qui accorde l’autorisation d’écrire dans la lakehouse Fabric :

Accédez à l’espace de travail Microsoft Fabric et sélectionnez Gérer l’accès>+ Ajouter des personnes ou des groupes.
Recherchez le nom de votre identité managée affectée par l’utilisateur.
Sélectionnez un rôle approprié, puis sélectionnez Ajouter.

Ensuite, configurez le point de terminaison de flux de données avec les paramètres d’identité managée affectée par l’utilisateur.

Entrez l’ID client et l’ID de tenant de l’identité managée affectée par l’utilisateur dans les champs appropriés.

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Pour utiliser une identité managée affectée par l’utilisateur, spécifiez la méthode d’authentification UserAssignedManagedIdentity, et fournissez les éléments clientId et tenantId de l’identité managée.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Ici, ce champ est facultatif et est défini par défaut sur https://storage.azure.com/.default. Si vous devez remplacer l’étendue par défaut, spécifiez le paramètre scope en utilisant Bicep ou Kubernetes.

Paramètres avancés

Vous pouvez définir des paramètres avancés pour le point de terminaison Fabric OneLake, comme la latence de traitement par lots et le nombre de messages. Vous pouvez définir ces paramètres sous l’onglet du portail Avancé du point de terminaison de flux de données ou dans la ressource personnalisée de point de terminaison de flux de données.

Traitement par lots

Utilisez les paramètres batching pour configurer le nombre maximal de messages et la latence maximale avant l’envoi des messages à la destination. Ce paramètre est utile quand vous souhaitez optimiser la bande passante réseau et réduire le nombre de requêtes adressées à la destination.

Champ	Description	Obligatoire
`latencySeconds`	Nombre maximal de secondes devant s’écouler avant l’envoi des messages à la destination. La valeur par défaut est 60 secondes.	Non
`maxMessages`	Nombre maximal de messages à envoyer à la destination. La valeur par défaut est de 100 000 messages.	Non

Par exemple, pour configurer le nombre maximal de messages sur 1 000 et la latence maximale sur 100 secondes, utilisez les paramètres suivants :

Dans l’expérience des opérations, sélectionnez l’onglet Avancé pour le point de terminaison de flux de données.

Capture d’écran de l’utilisation de l’expérience des opérations pour définir les paramètres avancés de Microsoft Fabric.

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Étapes suivantes

Pour en savoir plus sur les flux de données, consultez Créer un flux de données.

Partager via