Configurer des points de terminaison de flux de données pour Azure Data Lake Storage Gen2

Important

Cette page inclut des instructions pour la gestion des composants Azure IoT Operations à l’aide des manifestes de déploiement Kubernetes, qui sont en version préliminaire. Cette fonctionnalité est fournie avec plusieurs limitations et ne doit pas être utilisée pour les charges de travail de production.

Pour connaître les conditions juridiques qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou plus généralement non encore en disponibilité générale, consultez l’Avenant aux conditions d’utilisation des préversions de Microsoft Azure.

Pour envoyer des données à Azure Data Lake Storage Gen2 dans Opérations Azure IoT, vous pouvez configurer un point de terminaison de flux de données. Cette configuration vous permet de spécifier le point de terminaison de destination, la méthode d’authentification, la table et d’autres paramètres.

Prérequis

• Une instance d’Opérations Azure IoT
• Un compte Azure Data Lake Storage Gen2
• Un conteneur de stockage pré-créé dans le compte de stockage

Attribuer une autorisation à une identité managée

Pour configurer un point de terminaison de flux de données pour Azure Data Lake Storage Gen2, nous vous recommandons d’utiliser une identité managée affectée par le système ou l’utilisateur. Cette approche sécurisée élimine la gestion manuelle des informations d’identification.

Une fois Azure Data Lake Storage Gen2 créé, vous devez attribuer un rôle à l’identité managée Opérations Azure IoT qui accorde l’autorisation d’écriture dans le compte de stockage.

Si vous utilisez l’identité managée affectée par le système, accédez à votre instance d’Opérations Azure IoT dans le Portail Azure, puis sélectionnez Vue d’ensemble. Copiez le nom de l’extension mentionné après Extension Arc Opérations Azure IoT. Par exemple, azure-iot-operations-xxxx7. Vous trouverez votre identité managée affectée par le système en utilisant le même nom que l’extension Arc d’Opérations Azure IoT.

Accédez ensuite au compte de stockage Azure >Access Control (IAM)>Ajouter une attribution de rôle.

1. Dans l’onglet Rôle, sélectionnez un rôle approprié, comme Storage Blob Data Contributor. Cela donne à l’identité managée les autorisations nécessaires pour écrire dans des conteneurs Azure Storage Blob. Pour plus d’informations, consultez Autoriser l’accès aux objets blob à l’aide de Microsoft Entra ID.
2. Sélectionnez l’onglet Membres :
   1. Si vous utilisez l’identité managée affectée par le système, pour Attribuer l’accès à, sélectionnez l’option Utilisateur, groupe ou principal de service, puis cliquez sur + Sélectionner des membres et recherchez le nom de l’extension Arc d’Opérations Azure IoT.
   2. Si vous utilisez l’identité managée affectée par l’utilisateur, pour Attribuer l’accès à, sélectionnez l’option Identité managée, puis cliquez sur + Sélectionner des membres et recherchez votre identité managée affectée par l’utilisateur configurée pour les connexions cloud.

Créer un point de terminaison de flux de données pour Azure Data Lake Storage Gen2

Portail

1. Dans le portail Opérations IoT, sélectionnez l’onglet Points de terminaison de flux de données.

2. Sous Créer un point de terminaison de flux de données, sélectionnez Azure Data Lake Storage (2e génération)>Nouveau.

   

3. Entrez les paramètres suivants pour le point de terminaison :

   Setting	Description
   Nom	Nom du point de terminaison de flux de données.
   Hôte	Le nom d’hôte du point de terminaison Azure Data Lake Storage Gen2 au format <account>.blob.core.windows.net. Remplacez l’espace réservé du compte par le nom du compte du point de terminaison.
   Méthode d'authentification	Méthode utilisée pour l’authentification. Nous recommandons de choisir Identité managée affectée par le système ou Identité managée affectée par l’utilisateur.
   ID client	ID client de l'identité managée affectée par l'utilisateur. Obligatoire si vous utilisez une identité managée affectée par l’utilisateur.
   Tenant ID	L'identifiant du locataire de l'identité managée affectée par l'utilisateur. Obligatoire si vous utilisez une identité managée affectée par l’utilisateur.
   Nom du secret du jeton d’accès	Nom du secret Kubernetes contenant le jeton SAS. Obligatoire si vous utilisez Jeton d’accès.

4. Sélectionnez Appliquer pour approvisionner le point de terminaison.

Bicep

Créez un fichier Bicep .bicep avec le contenu suivant.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Effectuez ensuite le déploiement via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (préversion)

Créez un fichier manifeste Kubernetes .yaml avec le contenu suivant.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Appliquez ensuite le fichier manifeste au cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Utiliser l’authentification par jeton d’accès

Effectuez les étapes de la section Jeton d’accès pour obtenir un jeton SAS pour le compte de stockage et le stocker dans un secret Kubernetes.

Ensuite, créez la ressource DataflowEndpoint et spécifiez la méthode d’authentification par jeton d’accès. Ici, remplacez <SAS_SECRET_NAME> par le nom du secret contenant le jeton SAS ainsi que d’autres valeurs d’espace réservé.

Portail

Consultez la section jeton d’accès pour connaître les étapes de création d’un secret dans le portail d’expérience des opérations.

Bicep

Créez un fichier Bicep .bicep avec le contenu suivant.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Effectuez ensuite le déploiement via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (préversion)

Créez un fichier manifeste Kubernetes .yaml avec le contenu suivant.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Appliquez ensuite le fichier manifeste au cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Méthodes d'authentification disponibles

Les méthodes d’authentification suivantes sont disponibles pour les points de terminaison Azure Data Lake Storage Gen2.

Identité managée affectée par le système

Avant de configurer le point de terminaison de flux de données, attribuez un rôle à l’identité managée Opérations Azure IoT qui accorde l’autorisation d’écrire dans le compte de stockage :

1. Dans le Portail Azure, accédez à votre instance d’Opérations Azure IoT, puis sélectionnez Vue d’ensemble.
2. Copiez le nom de l’extension mentionné après Extension Arc Opérations Azure IoT. Par exemple, azure-iot-operations-xxxx7.
3. Accédez à la ressource cloud dont vous avez besoin pour accorder des autorisations. Par exemple, accédez au compte de stockage Azure >Access Control (IAM)>Ajouter une attribution de rôle.
4. Dans l’onglet Rôle, sélectionnez un rôle approprié.
5. Sous l’onglet Membres, pour Attribuer l’accès à, sélectionnez l’option Utilisateur, groupe ou principal de service, puis cliquez sur + Sélectionner des membres et recherchez l’identité managée d’Opérations Azure IoT. Par exemple, azure-iot-operations-xxxx7.

Ensuite, configurez le point de terminaison de flux de données avec les paramètres d’identité managée affectée par le système.

Portail

Dans la page des paramètres du point de terminaison de flux de données de l’expérience des opérations, sélectionnez l’onglet Informations de base, puis choisissez Méthode d’authentification>Identité managée affectée par le système.

Dans la plupart des cas, vous n’avez pas besoin de spécifier une audience du service. Le fait de ne pas spécifier d’audience crée une identité managée avec l’audience par défaut délimitée à votre compte de stockage.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (préversion)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Si vous devez remplacer l’audience de l’identité managée affectée par le système, vous pouvez spécifier le paramètre audience.

Portail

Dans la plupart des cas, vous n’avez pas besoin de spécifier une audience du service. Le fait de ne pas spécifier d’audience crée une identité managée avec l’audience par défaut délimitée à votre compte de stockage.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

Kubernetes (préversion)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Identité managée affectée par l’utilisateur

Pour utiliser l’identité gérée attribuée par l’utilisateur pour l’authentification, vous devez d’abord déployer Azure IoT Operations avec les paramètres sécurisés activés. Vous devez ensuite configurer une identité gérée attribuée par l’utilisateur pour les connexions cloud. Pour en savoir plus, consultez Activer les paramètres sécurisés dans un déploiement d’Opérations Azure IoT.

Avant de configurer le point de terminaison de flux de données, attribuez un rôle à l’identité managée affectée par l’utilisateur qui accorde l’autorisation d’écriture dans le compte de stockage :

1. Dans le portail Azure, accédez à la ressource cloud dont vous avez besoin pour accorder des autorisations. Par exemple, accédez au compte de stockage Azure >Access Control (IAM)>Ajouter une attribution de rôle.
2. Dans l’onglet Rôle, sélectionnez un rôle approprié.
3. Dans l’onglet Membres, pour Attribuer l’accès à, sélectionnez l’option Identité managée, puis cliquez sur + Sélectionner des membres et recherchez votre identité managée affectée par l’utilisateur.

Ensuite, configurez le point de terminaison de flux de données avec les paramètres d’identité managée affectée par l’utilisateur.

Portail

Dans la page des paramètres du point de terminaison de flux de données de l’expérience des opérations, sélectionnez l’onglet Informations de base, puis choisissez Méthode d’authentification>Identité managée affectée par l’utilisateur.

Entrez l’ID client et l’ID de tenant de l’identité managée affectée par l’utilisateur dans les champs appropriés.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes (préversion)

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Ici, ce champ est facultatif et est défini par défaut sur https://storage.azure.com/.default. Si vous devez remplacer l’étendue par défaut, spécifiez le paramètre scope via le manifeste Bicep ou Kubernetes.

Access token (Jeton d’accès)

L’utilisation d’un jeton d’accès est une autre méthode d’authentification. Cette méthode vous oblige à créer un secret Kubernetes avec le jeton SAS et à référencer le secret dans la ressource DataflowEndpoint.

Obtenez un jeton SAS pour un compte Azure Data Lake Storage Gen2 (ADLSv2). Par exemple, utilisez le portail Azure pour accéder à votre compte de stockage. Dans le menu de gauche, choisissez Sécurité + réseau>Signature d’accès partagé. Utilisez le tableau suivant pour définir les autorisations requises.

Paramètre	Paramètre activé
Services autorisés	Objet blob
Types de ressources autorisés	Conteneur d'objet.
Autorisations autorisées	Lecture, écriture, suppression, liste, création

Pour améliorer la sécurité et suivre le principe des privilèges minimum, vous pouvez générer un jeton SAS pour un conteneur spécifique. Pour éviter les erreurs d’authentification, vérifiez que le conteneur spécifié dans le jeton SAS correspond au paramètre de destination du flux de données dans la configuration.

Portail

Important

Pour utiliser le portail d’expérience des opérations afin de gérer les secrets, vous devez avoir activé Opérations Azure IoT en utilisant les paramètres sécurisés. Pour cela, configurez un coffre Azure Key Vault et activez les identités de charge de travail. Pour en savoir plus, consultez Activer les paramètres sécurisés dans un déploiement d’Opérations Azure IoT.

Dans la page des paramètres du point de terminaison de flux de données de l’expérience des opérations, sélectionnez l’onglet Informations de base, puis choisissez Méthode d’authentification>Jeton d’accès.

Dans ce cas, sous Nom de secret synchronisé, saisissez un nom pour le secret. Ce nom est utilisé pour référencer le secret dans les paramètres du point de terminaison de flux de données. Il correspond au nom du secret tel qu’il est enregistré dans le cluster Kubernetes.

Ensuite, sous Nom du secret du jeton d’accès, sélectionnez Ajouter une référence pour ajouter le secret à partir d’Azure Key Vault. À la page suivante, sélectionnez le secret dans Azure Key Vault en utilisant Ajouter depuis Azure Key Vault ou Créer un secret.

Si vous sélectionnez Créer, entrez les paramètres suivants :

Setting	Description
Nom du secret	Le nom du secret dans Azure Key Vault. Choisissez un nom facile à mémoriser pour pouvoir le sélectionner ultérieurement dans la liste.
Valeur secrète	Le jeton SAS au format 'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'.
Définir une date d’activation	Si cette option est activée, date à laquelle le secret devient actif.
Définir la date d’expiration	Si cette option est activée, date à laquelle le secret expire.

Pour en savoir plus sur les secrets, consultez Créer et gérer des secrets dans Opérations Azure IoT.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Kubernetes (préversion)

Créez un secret Kubernetes avec le jeton SAP.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Paramètres avancés

Vous pouvez définir des paramètres avancés pour le point de terminaison Azure Data Lake Storage Gen2, comme la latence de traitement par lot et le nombre de messages.

Utilisez les paramètres batching pour configurer le nombre maximal de messages et la latence maximale avant l’envoi des messages à la destination. Ce paramètre est utile quand vous souhaitez optimiser la bande passante réseau et réduire le nombre de requêtes adressées à la destination.

Champ	Description	Obligatoire
latencySeconds	Nombre maximal de secondes devant s’écouler avant l’envoi des messages à la destination. La valeur par défaut est 60 secondes.	Non
maxMessages	Nombre maximal de messages à envoyer à la destination. La valeur par défaut est de 100 000 messages.	Non

Par exemple, pour configurer le nombre maximal de messages sur 1 000 et la latence maximale sur 100 secondes, utilisez les paramètres suivants :

Portail

Dans l’expérience des opérations, sélectionnez l’onglet Avancé pour le point de terminaison de flux de données.

Bicep

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (préversion)

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Étapes suivantes

• Si vous souhaitez découvrir plus d’informations sur les flux de données, consultez Créer un flux de données.
• Pour voir un tutoriel sur l’utilisation d’un flux de données pour envoyer des données à Azure Data Lake Storage Gen2, consultez Tutoriel : Envoyer des données à Azure Data Lake Storage Gen2.