Configuración de puntos de conexión de flujo de datos para Azure Data Lake Storage Gen2

Importante

En esta página se incluyen instrucciones para administrar componentes de Operaciones de IoT de Azure mediante manifiestos de implementación de Kubernetes, que se encuentra en versión preliminar. Esta característica se proporciona con varias limitacionesy no se debe usar para cargas de trabajo de producción.

Consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure para conocer los términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado para que estén disponibles con carácter general.

Para enviar datos a Azure Data Lake Storage Gen2 en Operaciones de IoT de Azure, puede configurar un punto de conexión de flujo de datos. Esta configuración permite especificar el punto de conexión de destino, el método de autenticación, la tabla y otros valores.

Requisitos previos

• Una instancia de Operaciones de IoT de Azure
• Una cuenta de Azure Data Lake Storage Gen2
• Un contenedor de almacenamiento creado previamente en la cuenta de almacenamiento

Asignación de permisos a la identidad administrada

Para configurar un punto de conexión de flujo de datos para Azure Data Lake Storage Gen2, se recomienda usar una identidad administrada asignada por el usuario o asignada por el sistema. Este enfoque es seguro y elimina la necesidad de administrar las credenciales manualmente.

Una vez creada la base de datos de Azure Data Lake Storage Gen2, debe asignar un rol a la identidad administrada de Operaciones de IoT de Azure que concede permiso para escribir en la cuenta de almacenamiento.

Si usa la identidad administrada asignada por el sistema, en Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general. Copie el nombre de la extensión que se muestra después de la extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7. La identidad administrada asignada por el sistema se puede encontrar con el mismo nombre de la extensión Arc de Operaciones de IoT de Azure.

A continuación, vaya a la cuenta de Azure Storage >Control de acceso (IAM)>Agregar asignación de roles.

1. En la pestaña Rol, seleccione un rol adecuado, como Storage Blob Data Contributor. Esto proporciona a la identidad administrada los permisos necesarios para escribir en los contenedores de blobs de Azure Storage. Para obtener más información, consulte Autorizar el acceso a blobs mediante Microsoft Entra ID.
2. En la pestaña Miembros:
   1. Si usa la identidad administrada asignada por el sistema, para Asignar acceso a, seleccione la opción Usuario, grupo o entidad de servicio, seleccione + Seleccionar miembros y busque el nombre de la extensión de Arc de Operaciones de IoT de Azure.
   2. Si usa la identidad administrada asignada por el usuario, para Asignar acceso a, seleccione la opción Identidad administrada, seleccione + Seleccionar miembros y busque la identidad administrada asignada por el usuario configurada para conexiones en la nube.

Creación de un punto de conexión de flujo de datos para Azure Data Lake Storage Gen2

Portal

1. En el portal de operaciones de IoT, seleccione la pestaña Puntos de conexión de flujo de datos.

2. En Crear nuevo punto de conexión de flujo de datos, seleccione Azure Data Lake Storage (segunda generación)>Nuevo.

   

3. Escriba la siguiente configuración para el punto de conexión:

   Configuración	Descripción
   Nombre	Nombre del punto de conexión de flujo de datos.
   Host	Nombre de host del punto de conexión de Azure Data Lake Storage Gen2 con el formato <account>.blob.core.windows.net. Reemplace el marcador de posición de la cuenta por el nombre de la cuenta de punto de conexión.
   Método de autenticación	El método usado para la autenticación. Se recomienda elegir Identidad administrada asignada por el sistema o Identidad administrada asignada por el usuario.
   Id. de cliente	Id. de cliente de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.
   Id. de inquilino	El id. de inquilino de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.
   Nombre del secreto del token de acceso	Nombre del secreto de Kubernetes que contiene el token de SAS. Obligatorio si se usa token de acceso.

4. Seleccione Aplicar para aprovisionar el punto de conexión.

Bicep

Cree un archivo .bicep de Bicep con el siguiente contenido.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

A continuación, realice la implementación mediante la CLI de Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (versión preliminar)

Cree un archivo .yaml de manifiesto de Kubernetes con el siguiente contenido.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

A continuación, aplique el archivo de manifiesto al clúster de Kubernetes.

kubectl apply -f <FILE>.yaml

Uso de la autenticación de token de acceso

Siga los pasos descritos en la sección token de acceso para obtener un token de SAS para la cuenta de almacenamiento y almacenarlo en un secreto de Kubernetes.

Después, cree el recurso DataflowEndpoint y especifique el método de autenticación del token de acceso. Aquí, reemplace <SAS_SECRET_NAME> por el nombre del secreto que contiene el token de SAS y otros valores de marcador de posición.

Portal

Consulte la sección del token de acceso para ver los pasos para crear un secreto en el portal de experiencia de operaciones.

Bicep

Cree un archivo .bicep de Bicep con el siguiente contenido.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

A continuación, realice la implementación mediante la CLI de Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (versión preliminar)

Cree un archivo .yaml de manifiesto de Kubernetes con el siguiente contenido.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

A continuación, aplique el archivo de manifiesto al clúster de Kubernetes.

kubectl apply -f <FILE>.yaml

Métodos de autenticación disponibles

Los siguientes métodos de autenticación están disponibles para los puntos de conexión de Azure Data Lake Storage Gen2.

Identidad administrada asignada por el sistema

Antes de configurar el punto de conexión de flujo de datos, asigne un rol a la identidad administrada de Operaciones de IoT de Azure que conceda permiso para escribir en la cuenta de almacenamiento:

1. En Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general.
2. Copie el nombre de la extensión que se muestra después de la extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7.
3. Vaya al recurso en la nube que necesita para conceder permisos. Por ejemplo, vaya a la cuenta de Azure Storage >Control de acceso (IAM)>Agregar asignación de roles.
4. En la pestaña Rol, seleccione un rol adecuado.
5. En la pestaña Miembros, para Asignar acceso a, seleccione la opción Usuario, grupo o entidad de servicio, seleccione + Seleccionar miembros y busque la identidad administrada de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7.

A continuación, configure el punto de conexión de flujo de datos con la configuración de la identidad administrada asignada por el sistema.

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el sistema.

En la mayoría de los casos, no es necesario especificar una audiencia de servicio. Si no se especifica una audiencia, se crea una identidad administrada con el ámbito de audiencia predeterminado a la cuenta de almacenamiento.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (versión preliminar)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Si necesita invalidar la audiencia de identidad administrada asignada por el sistema, puede especificar la configuración audience.

Portal

En la mayoría de los casos, no es necesario especificar una audiencia de servicio. Si no se especifica una audiencia, se crea una identidad administrada con el ámbito de audiencia predeterminado a la cuenta de almacenamiento.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

Kubernetes (versión preliminar)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Identidad administrada asignada por el usuario

Para usar la identidad administrada asignada por el usuario para la autenticación, primero debe implementar Operaciones de IoT de Azure con la configuración segura habilitada. A continuación, debe configurar una identidad administrada asignada por el usuario para las conexiones en la nube. Para obtener más información, consulte Habilitación de la configuración segura en la implementación de Operaciones de IoT de Azure.

Antes de configurar el punto de conexión de flujo de datos, asigne un rol a la identidad administrada asignada por el usuario que conceda permiso para escribir en la cuenta de almacenamiento:

1. En Azure Portal, vaya al recurso en la nube que necesita para conceder permisos. Por ejemplo, vaya a la cuenta de Azure Storage >Control de acceso (IAM)>Agregar asignación de roles.
2. En la pestaña Rol, seleccione un rol adecuado.
3. En la pestaña Miembros, para Asignar acceso a, seleccione la opción Identidad administrada y, a continuación, seleccione + Seleccionar miembros y busque la identidad administrada asignada por el usuario.

A continuación, configure el punto de conexión de flujo de datos con la configuración de la identidad administrada asignada por el usuario.

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el usuario.

Escriba el identificador de cliente de la identidad administrada asignada por el usuario y el identificador de inquilino en los campos adecuados.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes (versión preliminar)

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Aquí, el ámbito es opcional y el valor predeterminado es https://storage.azure.com/.default. Si necesita invalidar el ámbito predeterminado, especifique la configuración de scope a través del manifiesto de Bicep o Kubernetes.

Access token

El uso de un token de acceso es un método de autenticación alternativo. Este método requiere crear un secreto de Kubernetes con el token de SAS y hacer referencia al secreto en el recurso DataflowEndpoint.

Obtenga un token de SAS para una cuenta de Azure Data Lake Storage Gen2 (ADLS ADLSv2). Por ejemplo, use Azure Portal par la cuenta de almacenamiento. En el menú de la izquierda, elija Seguridad y redes>Firma de acceso compartido. Use la tabla siguiente para establecer los permisos necesarios.

Parámetro	Configuración habilitada
Servicios permitidos	Blob
Tipos de recursos permitidos	Objeto, contenedor
Permisos permitidos	Leer, escribir, eliminar, enumerar, agregar, crear

Para mejorar la seguridad y seguir el principio de privilegios mínimos, puede generar un token de SAS para un contenedor específico. Para evitar errores de autenticación, asegúrese de que el contenedor especificado en el token de SAS coincide con la configuración de destino del flujo de datos en la configuración.

Portal

Importante

Para usar el portal de la experiencia de operaciones para administrar secretos,Operaciones de IoT de Azure debe habilitarse primero con la configuración segura mediante la configuración de una instancia de Azure Key Vault y la habilitación de identidades de carga de trabajo. Para obtener más información, consulte Habilitación de la configuración segura en la implementación de Operaciones de IoT de Azure.

En la página de configuración del punto de conexión de flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Token de acceso.

Aquí, en Nombre del secreto sincronizado, escriba un nombre para el secreto. Este nombre se usa para hacer referencia al secreto en la configuración del punto de conexión del flujo de datos y es el nombre del secreto tal y como se almacena en el clúster de Kubernetes.

A continuación, en Nombre del secreto del token de acceso, seleccione Agregar referencia para agregar el secreto desde Azure Key Vault. En la página siguiente, seleccione el secreto de Azure Key Vault con Agregar desde Azure Key Vault o elija Crear nuevo para crear un secreto nuevo.

Si selecciona Crear nuevo, escriba la siguiente configuración:

Configuración	Descripción
Nombre del secreto	Nombre del secreto en Azure Key Vault. Elija un nombre que sea fácil de recordar para seleccionar el secreto más adelante en la lista.
Valor secreto	Token de SAS con el formato 'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'.
Establecer fecha de activación	Si está activado, la fecha en la que se activa el secreto.
Establecimiento de la fecha de expiración	Si está activado, la fecha en la que expira el secreto.

Para más información sobre los secretos, vea Creación y administración de secretos en Operaciones de IoT de Azure.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Kubernetes (versión preliminar)

Cree un secreto de Kubernetes con el token de SAS.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Configuración avanzada

Puede establecer la configuración avanzada para el punto de conexión de Azure Data Lake Storage Gen2, como la latencia de procesamiento por lotes y el recuento de mensajes.

Use la configuración batching para configurar el número máximo de mensajes y la latencia máxima antes de que los mensajes se envíen al destino. Esta configuración es útil cuando desea optimizar el ancho de banda de red y reducir el número de solicitudes al destino.

Campo	Descripción	Obligatorio
latencySeconds	El número máximo de segundos que se deben esperar antes de enviar los mensajes al destino. El valor predeterminado es de 60 segundos.	No
maxMessages	El número máximo de mensajes que se van a enviar al destino. El valor predeterminado es 100 000 mensajes.	No

Por ejemplo, para configurar el número máximo de mensajes en 1000 y la latencia máxima en 100 segundos, use la siguiente configuración:

Portal

En la experiencia de operaciones, seleccione el punto de conexión del flujo de datos de la pestaña Avanzado.

Bicep

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (versión preliminar)

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Pasos siguientes

• Para obtener más información sobre los flujos de datos, consulte Creación de un flujo de datos.
• Para ver un tutorial sobre cómo usar un flujo de datos para enviar datos a Azure Data Lake Storage Gen2, consulte Tutorial: Envío de datos a Azure Data Lake Storage Gen2.