Configurar puntos de conexión de flujo de datos para Azure Data Explorer

Importante

En esta página se incluyen instrucciones para administrar componentes de operaciones de IoT de Azure mediante manifiestos de implementación de Kubernetes, que se encuentra en versión preliminar. Esta característica se proporciona con varias limitacionesy no se debe usar para cargas de trabajo de producción.

Consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure para conocer los términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado para que estén disponibles con carácter general.

Para enviar datos a Azure Data Explorer en Operaciones de IoT de Azure, puede configurar un punto de conexión de flujo de datos. Esta configuración permite especificar el punto de conexión de destino, el método de autenticación, la tabla y otros valores.

Requisitos previos

• Una instancia de Operaciones de IoT de Azure
• Un Clúster de Azure Data Explorer. Siga los pasos del Clúster completo en el inicio rápido: Crear un clúster y una base de datos de Azure Data Explorer. La opción clúster gratuito no funciona para este escenario.

Cree una base de datos Azure Data Explorer

1. En Azure Portal, cree una base de datos en el clúster completo de Azure Data Explorer.

2. Crear una tabla en la base de datos para los datos. Puede usar Azure Portal y crear columnas manualmente, o puede usar KQL en la pestaña de consulta. Por ejemplo, para crear una tabla para datos de termostato de ejemplo, ejecute el siguiente comando:

   .create table thermostat (
       externalAssetId: string,
       assetName: string,
       CurrentTemperature: real,
       Pressure: real,
       MqttTopic: string,
       Timestamp: datetime
   )
   

3. Habilite la ingesta con streaming en la tabla y la base de datos. En la pestaña de consulta, ejecute el comando siguiente, sustituyendo <DATABASE_NAME> por el nombre de la base de datos:

   .alter database ['<DATABASE_NAME>'] policy streamingingestion enable
   

   Como alternativa, habilite la ingesta de streaming en todo el clúster. Consulte Habilitar la ingesta de streaming en un clúster existente.

Asignación de permisos a la identidad administrada

Para configurar un punto de conexión de flujo de datos para Azure Data Explorer, se recomienda usar una identidad administrada asignada por el usuario o asignada por el sistema. Este enfoque es seguro y elimina la necesidad de administrar las credenciales manualmente.

Una vez creada la base de datos de Azure Data Explorer, debe asignar un rol a la identidad administrada de Operaciones de IoT de Azure que concede permiso para escribir en la base de datos.

Si usa la identidad administrada asignada por el sistema, en Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general. Copie el nombre de la extensión que se muestra después de la extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7. La identidad administrada asignada por el sistema se puede encontrar con el mismo nombre de la extensión Arc de Operaciones de IoT de Azure.

1. En la base de datos de Azure Data Explorer (no clúster), en Información general seleccione Permisos>Agregar y, a continuación, seleccione Agente de ingesta como rol. Esto proporciona a la identidad administrada los permisos necesarios para escribir en la base de datos de Azure Data Explorer. Para más información, consulte el artículo sobre el control de acceso basado en roles.
2. Busque el nombre de la identidad administrada asignada por el usuario configurada para conexiones en la nube o la identidad administrada asignada por el sistema. Por ejemplo, azure-iot-operations-xxxx7.
3. Después, elija Seleccionar.

Creación de un punto de conexión de flujo de datos para Azure Data Explorer

Portal

1. En la experiencia de operaciones, seleccione la pestaña Puntos de conexión de flujo de datos.

2. En Crear nuevo punto de conexión de flujo de datos, seleccione Azure Data Explorer>Nuevo.

   

3. Escriba la siguiente configuración para el punto de conexión:

   Configuración	Descripción
   Nombre	Nombre del punto de conexión de flujo de datos.
   Host	El nombre de host del punto de conexión de Azure Data Explorer con el formato <cluster>.<region>.kusto.windows.net.
   Método de autenticación	El método usado para la autenticación. Elija Identidad administrada asignada por el sistema o Identidad administrada asignada por el usuario.
   Id. de cliente	Id. de cliente de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.
   Id. de inquilino	El id. de inquilino de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.

4. Seleccione Aplicar para aprovisionar el punto de conexión.

Bicep

Cree un archivo .bicep de Bicep con el siguiente contenido.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param hostName string = 'https://<CLUSTER>.<region>.kusto.windows.net'
param databaseName string = '<DATABASE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adxEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataExplorer'
    dataExplorerSettings: {
      host: hostName
      database: databaseName
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

A continuación, realice la implementación mediante la CLI de Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (versión preliminar)

Cree un archivo .yaml de manifiesto de Kubernetes con el siguiente contenido.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataExplorer
  dataExplorerSettings:
    host: 'https://<CLUSTER>.<region>.kusto.windows.net'
    database: <DATABASE_NAME>
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

A continuación, aplique el archivo de manifiesto al clúster de Kubernetes.

kubectl apply -f <FILE>.yaml

Métodos de autenticación disponibles

Los siguientes métodos de autenticación están disponibles para los puntos de conexión de Azure Data Explorer.

Identidad administrada asignada por el sistema

Antes de configurar el punto de conexión de flujo de datos, asigne un rol a la identidad administrada de Operaciones de IoT de Azure que conceda permiso para escribir en la base de datos de Azure Data Explorer:

1. En Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general.
2. Copie el nombre de la extensión que se muestra después de la extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7.
3. Vaya a la base de datos de Azure Data Explorer (no clúster), en Información general seleccione Permisos>Agregar y, a continuación, seleccione un rol adecuado.
4. Busque el nombre de la identidad administrada asignada por el sistema. Por ejemplo, azure-iot-operations-xxxx7.
5. Elija Seleccionar.

A continuación, configure el punto de conexión de flujo de datos con la configuración de identidad administrada asignada por el sistema.

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el sistema.

Bicep

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (versión preliminar)

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Si necesita invalidar la audiencia de identidad administrada asignada por el sistema, puede especificar la configuración audience.

Portal

En la mayoría de los casos, no es necesario especificar otras opciones de configuración. Esta configuración crea una identidad administrada con la audiencia predeterminada https://api.kusto.windows.net.

Bicep

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<AUDIENCE_URL>'    
    }
  }
}

Kubernetes (versión preliminar)

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<AUDIENCE_URL>

Identidad administrada asignada por el usuario

Para usar la identidad administrada asignada por el usuario para la autenticación, primero debe implementar Operaciones de IoT de Azure con la configuración segura habilitada. A continuación, debe configurar una identidad administrada asignada por el usuario para las conexiones en la nube. Para obtener más información, consulte Habilitación de la configuración segura en la implementación de Operaciones de IoT de Azure.

Antes de configurar el punto de conexión de flujo de datos, asigne un rol a la identidad administrada asignada por el usuario que conceda permiso para escribir en la base de datos de Azure Data Explorer:

1. En Azure Portal, vaya a la base de datos de Azure Data Explorer (no clúster), en Información general seleccione Permisos>Agregar y, a continuación, seleccione un rol adecuado.
2. Busque el nombre de la identidad administrada asignada por el usuario.
3. Elija Seleccionar.

A continuación, configure el punto de conexión de flujo de datos con la configuración de identidad administrada asignada por el usuario.

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el usuario.

Escriba el identificador de cliente de la identidad administrada asignada por el usuario y el identificador de inquilino en los campos adecuados.

Bicep

dataExplorerSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://api.kusto.windows.net/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes (versión preliminar)

dataExplorerSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://api.kusto.windows.net/.default'
      # scope: https://<SCOPE_URL>

Aquí, el ámbito es opcional y el valor predeterminado es https://api.kusto.windows.net/.default. Si necesita invalidar el ámbito predeterminado, especifique la configuración scope mediante Bicep o Kubernetes.

Configuración avanzada

Puede establecer la configuración avanzada para el punto de conexión de Azure Data Explorer, como la latencia de procesamiento por lotes y el recuento de mensajes.

Use la configuración batching para configurar el número máximo de mensajes y la latencia máxima antes de que los mensajes se envíen al destino. Esta configuración es útil cuando desea optimizar el ancho de banda de red y reducir el número de solicitudes al destino.

Campo	Descripción	Obligatorio
latencySeconds	El número máximo de segundos que se deben esperar antes de enviar los mensajes al destino. El valor predeterminado es de 60 segundos.	No
maxMessages	El número máximo de mensajes que se van a enviar al destino. El valor predeterminado es 100 000 mensajes.	No

Por ejemplo, para configurar el número máximo de mensajes en 1000 y la latencia máxima en 100 segundos, use la siguiente configuración:

Portal

En la experiencia de operaciones, seleccione el punto de conexión del flujo de datos de la pestaña Avanzado.

Bicep

dataExplorerSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (versión preliminar)

dataExplorerSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Pasos siguientes

Para obtener más información sobre los flujos de datos, consulte Creación de un flujo de datos.