Configurer des points de terminaison de flux de données pour Azure Data Explorer

Article
11/21/2024

Important

Cette page inclut des instructions pour la gestion des composants Azure IoT Operations à l’aide des manifestes de déploiement Kubernetes, qui sont en version préliminaire. Cette fonctionnalité est fournie avec plusieurs limitations et ne doit pas être utilisée pour les charges de travail de production.

Pour connaître les conditions juridiques qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou plus généralement non encore en disponibilité générale, consultez l’Avenant aux conditions d’utilisation des préversions de Microsoft Azure.

Pour envoyer des données à Azure Data Explorer dans Azure IoT Operations, vous pouvez configurer un point de terminaison de flux de données. Cette configuration vous permet de spécifier le point de terminaison de destination, la méthode d’authentification, la table et d’autres paramètres.

Prérequis

Une instance d'Azure IoT Operations
un cluster Azure Data Explorer ; et Suivez les étapes du Cluster complet dans le Démarrage rapide : Créer un cluster et une base de données pour Azure Data Explorer. L’option cluster libre ne fonctionne pas pour ce scénario.

Créer une base de données Azure Data Explorer

Dans le portail Azure, créez une base de données dans votre explorateur de données Azure cluster complet.
Créez une table dans votre base de données pour les données. Vous pouvez utiliser le Portail Azure et créer des colonnes manuellement, ou utiliser KQL dans l’onglet requête. Par exemple, pour créer une table pour des exemples de données thermostat, exécutez la commande suivante :
```
.create table thermostat (
    externalAssetId: string,
    assetName: string,
    CurrentTemperature: real,
    Pressure: real,
    MqttTopic: string,
    Timestamp: datetime
)
```
Activez l’ingestion de streaming dans votre table et votre base de données. Dans l’onglet requête, exécutez la commande suivante, en remplaçant <DATABASE_NAME> par le nom de votre base de données :
```
.alter database ['<DATABASE_NAME>'] policy streamingingestion enable
```
Vous pouvez aussi activer l’ingestion de streaming sur l’ensemble du cluster. Voir Activer l’ingestion de streaming dans un cluster existant.

Attribuer une autorisation à une identité managée

Pour configurer un point de terminaison de flux de données pour Azure Data Explorer, nous vous recommandons d’utiliser une identité managée attribuée par l’utilisateur ou par le système. Cette approche est sécurisée et élimine le besoin de gérer manuellement les informations d’identification.

Une fois la base de données Azure Data Explorer créée, vous devez attribuer un rôle à l’identité managée Azure IoT Operations qui accorde l’autorisation d’écrire dans la base de données.

Si vous utilisez une identité managée attribuée par le système, dans le portail Azure, accédez à votre instance Azure IoT Operations et sélectionnez Présentation. Copiez le nom de l’extension mentionné après Extension Arc Opérations Azure IoT. Par exemple, azure-iot-operations-xxxx7. Votre identité gérée attribuée par le système peut être trouvée à l’aide du même nom que l’extension Azure IoT Operations Arc.

Dans votre base de données Azure Data Explorer (pas de cluster), sous Présentation, sélectionnez Autorisations>Ajouter, puis sélectionnez Ingestor comme rôle. Cela donne à l’identité gérée les autorisations nécessaires pour écrire dans la base de données Azure Data Explorer. Pour en savoir plus, consultez Contrôle d’accès en fonction du rôle.
Recherchez le nom de votre identité gérée attribuée par l'utilisateur configurée pour les connexions cloud ou l'identité gérée attribuée par le système. Par exemple, azure-iot-operations-xxxx7.
Ensuite, sélectionnez Sélectionner.

Créez un point de terminaison de flux de données pour Azure Data Explorer

Dans l’expérience des opérations, sélectionnez l’onglet Points de terminaison de flux de données.
Sous Créer un point de terminaison de flux de données, sélectionnez Azure Explorer>Nouveau.

Entrez les paramètres suivants pour le point de terminaison :

Setting	Description
Nom	Nom du point de terminaison de flux de données.
Hôte	Le nom d’hôte du point de terminaison Azure Data Explorer au format `<cluster>.<region>.kusto.windows.net`.
Méthode d’authentification	Méthode utilisée pour l’authentification. Choisissez Identité gérée attribuée par le système ou Identité gérée attribuée par l'utilisateur.
ID client	ID client de l'identité managée affectée par l'utilisateur. Obligatoire si vous utilisez une identité managée affectée par l’utilisateur.
Tenant ID	L'identifiant du locataire de l'identité managée affectée par l'utilisateur. Obligatoire si vous utilisez une identité managée affectée par l’utilisateur.

Sélectionnez Appliquer pour approvisionner le point de terminaison.

Créez un fichier Bicep .bicep avec le contenu suivant.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param hostName string = 'https://<CLUSTER>.<region>.kusto.windows.net'
param databaseName string = '<DATABASE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adxEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataExplorer'
    dataExplorerSettings: {
      host: hostName
      database: databaseName
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Effectuez ensuite le déploiement via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Créez un fichier manifeste Kubernetes .yaml avec le contenu suivant.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataExplorer
  dataExplorerSettings:
    host: 'https://<CLUSTER>.<region>.kusto.windows.net'
    database: <DATABASE_NAME>
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Appliquez ensuite le fichier manifeste au cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Méthodes d'authentification disponibles

Les méthodes d’authentification suivantes sont disponibles pour les points de terminaison Azure Data Explorer.

Identité managée affectée par le système

Avant de configurer le point de terminaison du flux de données, attribuez un rôle à l’identité managée Azure IoT Operations qui accorde l’autorisation d’écrire dans la base de données Azure Data Explorer :

Dans le Portail Azure, accédez à votre instance d’Opérations Azure IoT, puis sélectionnez Vue d’ensemble.
Copiez le nom de l’extension mentionné après Extension Arc Opérations Azure IoT. Par exemple, azure-iot-operations-xxxx7.
Accédez à la base de données Azure Data Explorer (pas au cluster), sous Présentation, sélectionnez Autorisations>Ajouter, puis sélectionnez un rôle approprié.
Recherchez le nom de votre identité gérée attribuée par le système. Par exemple, azure-iot-operations-xxxx7.
Sélectionnez Sélectionner.

Ensuite, configurez le point de terminaison du flux de données avec les paramètres d’identité gérés attribués par le système.

Dans la page des paramètres du point de terminaison de flux de données de l’expérience des opérations, sélectionnez l’onglet Informations de base, puis choisissez Méthode d’authentification>Identité managée affectée par le système.

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Si vous devez remplacer l’audience de l’identité managée affectée par le système, vous pouvez spécifier le paramètre audience.

Dans la plupart des cas, vous n’avez pas besoin de spécifier d’autres paramètres. Cette configuration crée une identité managée avec l’audience par défaut https://api.kusto.windows.net.

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<AUDIENCE_URL>'    
    }
  }
}

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<AUDIENCE_URL>

Identité managée affectée par l’utilisateur

Pour utiliser l’identité gérée attribuée par l’utilisateur pour l’authentification, vous devez d’abord déployer Azure IoT Operations avec les paramètres sécurisés activés. Vous devez ensuite configurer une identité gérée attribuée par l’utilisateur pour les connexions cloud. Pour en savoir plus, consultez Activer les paramètres sécurisés dans le déploiement d’Azure IoT Operations.

Avant de configurer le point de terminaison du flux de données, attribuez un rôle à l’identité managée attribuée par l’utilisateur qui accorde l’autorisation d’écrire dans la base de données Azure Data Explorer :

Dans le portail Azure, accédez à la base de données Azure Data Explorer (pas au cluster), sous Présentation, sélectionnez Autorisations>Ajouter, puis sélectionnez un rôle approprié.
Recherchez le nom de votre identité gérée attribuée par l’utilisateur.
Sélectionnez Sélectionner.

Ensuite, configurez le point de terminaison du flux de données avec les paramètres d’identité gérés attribués par l’utilisateur.

Entrez l’ID client et l’ID de tenant de l’identité managée affectée par l’utilisateur dans les champs appropriés.

dataExplorerSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://api.kusto.windows.net/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataExplorerSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://api.kusto.windows.net/.default'
      # scope: https://<SCOPE_URL>

Ici, ce champ est facultatif et est défini par défaut sur https://api.kusto.windows.net/.default. Si vous devez remplacer l’étendue par défaut, spécifiez le paramètre scope via Bicep ou Kubernetes.

Paramètres avancés

Vous pouvez définir des paramètres avancés pour le point de terminaison Azure Data Explorer, comme la latence de traitement par lot et le nombre de messages.

Utilisez les paramètres batching pour configurer le nombre maximal de messages et la latence maximale avant l’envoi des messages à la destination. Ce paramètre est utile quand vous souhaitez optimiser la bande passante réseau et réduire le nombre de requêtes adressées à la destination.

Champ	Description	Obligatoire
`latencySeconds`	Nombre maximal de secondes devant s’écouler avant l’envoi des messages à la destination. La valeur par défaut est 60 secondes.	Non
`maxMessages`	Nombre maximal de messages à envoyer à la destination. La valeur par défaut est de 100 000 messages.	Non

Par exemple, pour configurer le nombre maximal de messages sur 1 000 et la latence maximale sur 100 secondes, utilisez les paramètres suivants :

Dans l’expérience des opérations, sélectionnez l’onglet Avancé pour le point de terminaison de flux de données.

Capture d'écran utilisant l'expérience opérationnelle pour définir les paramètres avancés d'Azure Data Explorer.

dataExplorerSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataExplorerSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Étapes suivantes

Si vous souhaitez découvrir plus d’informations sur les flux de données, consultez Créer un flux de données.

Partager via