Configuración de puntos de conexión de flujo de datos para Microsoft Fabric OneLake

Importante

En esta página se incluyen instrucciones para administrar componentes de Azure IoT Operations mediante manifiestos de implementación de Kubernetes, que se encuentra en versión preliminar. Esta característica se proporciona con varias limitacionesy no se debe usar para cargas de trabajo de producción.

Consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure para conocer los términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado para que estén disponibles con carácter general.

Para enviar datos a Microsoft Fabric OneLake en Operaciones de IoT de Azure, puede configurar un punto de conexión de flujo de datos. Esta configuración permite especificar el punto de conexión de destino, el método de autenticación, la tabla y otros valores.

Requisitos previos

• Una instancia de Operaciones de IoT de Azure
• Microsoft Fabric OneLake. Consulte los siguientes pasos para crear un área de trabajo y lakehouse.
  • Creación de un área de trabajo. No se admite el valor predeterminado mi área de trabajo.
  • Cree un almacén de lago.
  • Si se muestra, asegúrese de que los esquemas de Lakehouse (versión preliminar pública) están desactivados.
  • Anote los nombres del área de trabajo y el almacén de lago de datos.
• Asegúrese de que entidades de servicio pueden usar las API de Fabric.

Asignación de permisos a la identidad administrada

Para configurar un punto de conexión de flujo de datos para Microsoft Fabric OneLake, se recomienda usar una identidad administrada asignada por el usuario o asignada por el sistema. Este enfoque es seguro y elimina la necesidad de administrar las credenciales manualmente.

Después de crear Microsoft Fabric OneLake, debe asignar un rol a la identidad administrada de Operaciones de IoT de Azure que concede permiso para escribir en el almacén de lago de Fabric.

Si usa la identidad administrada asignada por el sistema, en Azure Portal, vaya a la instancia de operaciones de IoT de Azure y seleccione Información general. Copie el nombre de la extensión que se muestra después de la extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7. La identidad administrada asignada por el sistema se puede encontrar con el mismo nombre de la extensión Arc de operaciones de IoT de Azure.

Vaya al área de trabajo de Microsoft Fabric que creó, seleccione Administrar acceso>+ Agregar personas o grupos.

1. Busque el nombre de la identidad administrada asignada por el usuario configurada para conexiones en la nube o la identidad administrada asignada por el sistema. Por ejemplo, azure-iot-operations-xxxx7.
2. Seleccione Colaborador como rol y, a continuación, seleccione Agregar. Esto proporciona a la identidad administrada los permisos necesarios para escribir en el almacén de lago de Fabric. Para más información, consulte Roles en áreas de trabajo en Microsoft Fabric.

Creación de un punto de conexión de flujo de datos para Microsoft Fabric OneLake

Portal

1. En la experiencia de operaciones, seleccione la pestaña Puntos de conexión de flujo de datos.

2. En Crear nuevo punto de conexión de flujo de datos, seleccione Microsoft Fabric OneLake>Nuevo.

   

3. Escriba la siguiente configuración para el punto de conexión:

   Configuración	Descripción
   Host	Nombre de host del punto de conexión OneLake de Microsoft Fabric con el formato onelake.dfs.fabric.microsoft.com.
   Nombre del almacén de lago de datos	Nombre del almacén de lago donde se deben almacenar los datos.
   Nombre del área de trabajo	Nombre del área de trabajo asociada al almacén de lago.
   Tipo de ruta de acceso de OneLake	Tipo de ruta de acceso usada en OneLake. Seleccione Archivos o tablas.
   Método de autenticación	El método usado para la autenticación. Elija Identidad administrada asignada por el sistema o Identidad administrada asignada por el usuario.
   Id. de cliente	Id. de cliente de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.
   Id. de inquilino	El id. de inquilino de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.

4. Seleccione Aplicar para aprovisionar el punto de conexión.

Bicep

Cree un archivo .bicep de Bicep con el siguiente contenido.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

A continuación, realice la implementación mediante la CLI de Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (versión preliminar)

Cree un archivo .yaml de manifiesto de Kubernetes con el siguiente contenido.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

A continuación, aplique el archivo de manifiesto al clúster de Kubernetes.

kubectl apply -f <FILE>.yaml

Tipo de ruta de acceso de OneLake

La configuración de oneLakePathType determina el tipo de ruta de acceso que se va a usar en la ruta de acceso de OneLake. El valor predeterminado es Tables, que es el tipo de ruta de acceso recomendado para los casos de uso más comunes. El tipo de ruta de acceso Tables es una tabla de almacén de lago de datos de OneLake que se usa para almacenar los datos. También se puede establecer en Files, que es una tabla de almacén de lago de datos de OneLake que se usa para almacenar los datos. El tipo de ruta de acceso Files resulta útil cuando desea almacenar los datos en un formato de archivo que no sea compatible con el tipo de ruta de acceso de Tables.

Portal

El tipo de ruta de acceso OneLake se establece en la pestaña Básico del punto de conexión de flujo de datos.

Bicep

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

Kubernetes (versión preliminar)

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Métodos de autenticación disponibles

Los siguientes métodos de autenticación están disponibles para los puntos de conexión de flujo de datos de Microsoft Fabric OneLake.

Identidad administrada asignada por el sistema

Antes de configurar el punto de conexión de flujo de datos, asigne un rol a la identidad administrada de almacén de lago de datos que conceda permiso para escribir en el almacén de lago de Fabric:

1. En Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general.
2. Copie el nombre de la extensión que se muestra después de la extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7.
3. Vaya al área de trabajo de Microsoft Fabric y seleccione Administrar acceso>+ Agregar personas o grupos.
4. Busque el nombre de la identidad administrada asignada por el sistema. Por ejemplo, azure-iot-operations-xxxx7.
5. Seleccione un rol adecuado y, a continuación, seleccione Agregar.

A continuación, configure el punto de conexión de flujo de datos con la configuración de identidad administrada asignada por el sistema.

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el sistema.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (versión preliminar)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Si necesita invalidar la audiencia de identidad administrada asignada por el sistema, puede especificar la configuración audience.

Portal

En la mayoría de los casos, no es necesario especificar una audiencia de servicio. Si no se especifica una audiencia, se crea una identidad administrada con el ámbito de audiencia predeterminado a la cuenta de almacenamiento.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

Kubernetes (versión preliminar)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Identidad administrada asignada por el usuario

Para usar la identidad administrada asignada por el usuario para la autenticación, primero debe implementar operaciones de Azure IoT con la configuración segura habilitada. A continuación, debe configurar una identidad administrada asignada por el usuario para las conexiones en la nube. Para más información, consulte Habilitación de la configuración segura en la implementación de operaciones de IoT de Azure.

Antes de configurar el punto de conexión de flujo de datos, asigne un rol a la identidad administrada asignada por el usuario que conceda permiso para escribir en el almacén de lago de Fabric.:

1. Vaya al área de trabajo de Microsoft Fabric y seleccione Administrar acceso>+ Agregar personas o grupos.
2. Busque el nombre de la identidad administrada asignada por el usuario.
3. Seleccione un rol adecuado y, a continuación, seleccione Agregar.

A continuación, configure el punto de conexión de flujo de datos con la configuración de identidad administrada asignada por el usuario.

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el usuario.

Escriba el identificador de cliente de la identidad administrada asignada por el usuario y el identificador de inquilino en los campos adecuados.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kubernetes (versión preliminar)

Para usar una identidad administrada asignada por el usuario, especifique el método de autenticación UserAssignedManagedIdentity y proporcione los clientId y tenantId de la identidad administrada.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Aquí, el ámbito es opcional y el valor predeterminado es https://storage.azure.com/.default. Si necesita invalidar el ámbito predeterminado, especifique la scope configuración mediante Bicep o Kubernetes.

Configuración avanzada

Puede establecer la configuración avanzada para el punto de conexión de Fabric OneLake, como la latencia de procesamiento por lotes y el recuento de mensajes. Puede establecer esta configuración en el punto de conexión de flujo de datos de la pestaña del portal Avanzado o dentro del recurso personalizado del punto de conexión de flujo de datos.

Procesamiento por lotes

Use la configuración batching para configurar el número máximo de mensajes y la latencia máxima antes de que los mensajes se envíen al destino. Esta configuración es útil cuando desea optimizar el ancho de banda de red y reducir el número de solicitudes al destino.

Campo	Descripción	Obligatorio
latencySeconds	El número máximo de segundos que se deben esperar antes de enviar los mensajes al destino. El valor predeterminado es de 60 segundos.	No
maxMessages	El número máximo de mensajes que se van a enviar al destino. El valor predeterminado es 100 000 mensajes.	No

Por ejemplo, para configurar el número máximo de mensajes en 1000 y la latencia máxima en 100 segundos, use la siguiente configuración:

Portal

En la experiencia de operaciones, seleccione el punto de conexión del flujo de datos de la pestaña Avanzado.

Bicep

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (versión preliminar)

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Pasos siguientes

Para obtener más información sobre los flujos de datos, consulte Creación de flujos de datos.