Configuración de puntos de conexión de flujo de datos para Microsoft Fabric OneLake

Importante

Versión preliminar de operaciones de Azure IoT: habilitada por Azure Arc está actualmente en versión preliminar. No se debería usar este software en versión preliminar en entornos de producción.

Deberá implementar una nueva instalación de Azure IoT Operations cuando esté disponible una versión general. No podrá actualizar una instalación de versión preliminar.

Consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure para conocer los términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado para que estén disponibles con carácter general.

Para enviar datos a Microsoft Fabric OneLake en la versión preliminar de Operaciones de IoT de Azure, puede configurar un punto de conexión de flujo de datos. Esta configuración permite especificar el punto de conexión de destino, el método de autenticación, la tabla y otros valores.

Requisitos previos

• Una instancia de la versión preliminar de Operaciones de IoT de Azure
• Un perfil de flujo de datos configurado
• Microsoft Fabric OneLake. Consulte los siguientes pasos para crear un área de trabajo y lakehouse.
  • Creación de un área de trabajo. No se admite el valor predeterminado mi área de trabajo.
  • Cree un almacén de lago.
  • Si se muestra, asegúrese de que los esquemas de Lakehouse (versión preliminar pública) están desactivados.
  • Anote los nombres del área de trabajo y el almacén de lago de datos.

Creación de un punto de conexión de flujo de datos para Microsoft Fabric OneLake

Para configurar un punto de conexión de flujo de datos para Microsoft Fabric OneLake, se recomienda usar la identidad administrada del clúster de Kubernetes habilitado para Azure Arc. Este enfoque es seguro y elimina la necesidad de administración de secretos.

1. En Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general.
2. Copie el nombre de la extensión que se muestra después de la extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7.
3. En el área de trabajo de Microsoft Fabric que creó, seleccione Administrar acceso>+ Agregar personas o grupos. Busque la extensión de Arc de Operaciones de IoT de Azure por su nombre y selecciónela. Seleccione Colaborador como rol y, a continuación, seleccione Agregar.
4. Cree el recurso DataflowEndpoint y especifique el método de autenticación de identidad administrada.

Portal

1. En la experiencia de operaciones, seleccione la pestaña Puntos de conexión de flujo de datos.

2. En Crear nuevo punto de conexión de flujo de datos, seleccione Microsoft Fabric OneLake>Nuevo.

   

3. Escriba la siguiente configuración para el punto de conexión:

   Configuración	Descripción
   Host	Nombre de host del punto de conexión OneLake de Microsoft Fabric con el formato onelake.dfs.fabric.microsoft.com.
   Nombre del almacén de lago de datos	Nombre del almacén de lago donde se deben almacenar los datos.
   Nombre del área de trabajo	Nombre del área de trabajo asociada al almacén de lago.
   Tipo de ruta de acceso de OneLake	Tipo de ruta de acceso usada en OneLake. Seleccione Archivos o tablas.
   Método de autenticación	El método usado para la autenticación. Elija Identidad administrada asignada por el sistema o Identidad administrada asignada por el usuario
   Id. de cliente	Id. de cliente de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.
   Id. de inquilino	El id. de inquilino de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario.

4. Seleccione Aplicar para aprovisionar el punto de conexión.

Bicep

Cree un archivo .bicep de Bicep con el siguiente contenido.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        method: 'SystemAssignedManagedIdentity'
        systemAssignedManagedIdentitySettings: {}
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

A continuación, realice la implementación mediante la CLI de Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes

Cree un archivo .yaml de manifiesto de Kubernetes con el siguiente contenido.

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iotoperations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      method: SystemAssignedManagedIdentity
      systemAssignedManagedIdentitySettings: {}
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

A continuación, aplique el archivo de manifiesto al clúster de Kubernetes.

kubectl apply -f <FILE>.yaml

Tipo de ruta de acceso de OneLake

La configuración de oneLakePathType determina el tipo de ruta de acceso que se va a usar en la ruta de acceso de OneLake. El valor predeterminado es Tables, que es el tipo de ruta de acceso recomendado para los casos de uso más comunes. El tipo de ruta de acceso Tables es una tabla de almacén de lago de datos de OneLake que se usa para almacenar los datos. También se puede establecer en Files, que es una tabla de almacén de lago de datos de OneLake que se usa para almacenar los datos. El tipo de ruta de acceso Files resulta útil cuando desea almacenar los datos en un formato de archivo que no sea compatible con el tipo de ruta de acceso de Tables.

Portal

El tipo de ruta de acceso OneLake se establece en la pestaña Básico del punto de conexión de flujo de datos.

Bicep

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

Kubernetes

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Métodos de autenticación disponibles

Los siguientes métodos de autenticación están disponibles para los puntos de conexión de flujo de datos de Microsoft Fabric OneLake. Para más información sobre cómo habilitar la configuración segura mediante la configuración de Azure Key Vault y la habilitación de identidades de carga de trabajo, consulte Habilitar la configuración segura en la implementación de la versión preliminar de Operaciones de IoT de Azure.

Antes de crear el punto de conexión de flujo de datos, asigne un rol de Colaborador de área de trabajo a la extensión de Operaciones de IoT que concede permisos para escribir en el almacén de lago de datos de Fabric.

Para más información, consulte Concesión de acceso a un área de trabajo.

Identidad administrada asignada por el sistema

El uso de la identidad administrada asignada por el sistema es el método de autenticación recomendado para Operaciones de IoT de Azure. Operaciones de IoT de Azure crea automáticamente la identidad administrada y la asigna al clúster de Kubernetes habilitado para Azure Arc. Elimina la necesidad de administración de secretos y permite la autenticación sin problemas.

En el recurso DataflowEndpoint, especifique el método de autenticación de identidad administrada. En la mayoría de los casos, no es necesario especificar otras opciones de configuración. Esta configuración crea una identidad administrada con la audiencia predeterminada .

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el sistema.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Si necesita invalidar la audiencia de identidad administrada asignada por el sistema, puede especificar la configuración audience.

Portal

En la mayoría de los casos, no es necesario especificar una audiencia de servicio. Si no se especifica una audiencia, se crea una identidad administrada con el ámbito de audiencia predeterminado a la cuenta de almacenamiento.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

Kubernetes

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Identidad administrada asignada por el usuario

Para usar la identidad administrada por el usuario para la autenticación, primero debe implementar Operaciones de IoT de Azure con la configuración segura habilitada. Para obtener más información, consulte Habilitación de la configuración segura en la implementación de Operaciones de IoT de Azure (versión preliminar).

A continuación, especifique el método de autenticación de identidad administrada asignada por el usuario junto con el identificador de cliente, el identificador de inquilino y el ámbito de la identidad administrada.

Portal

En la página de configuración del punto de conexión del flujo de datos de experiencia de operaciones, seleccione la pestaña Básico y, después, elija Método de autenticación>Identidad administrada asignada por el usuario.

Escriba el identificador de cliente de la identidad administrada asignada por el usuario y el identificador de inquilino en los campos adecuados.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kubernetes

Para usar una identidad administrada asignada por el usuario, especifique el método de autenticación UserAssignedManagedIdentity y proporcione los clientId y tenantId de la identidad administrada.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Aquí, el ámbito es opcional y el valor predeterminado es https://storage.azure.com/.default. Si necesita invalidar el ámbito predeterminado, especifique la scope configuración mediante Bicep o Kubernetes.

Configuración avanzada

Puede establecer la configuración avanzada para el punto de conexión de Fabric OneLake, como la latencia de procesamiento por lotes y el recuento de mensajes. Puede establecer esta configuración en el punto de conexión de flujo de datos de la pestaña del portal Avanzado o dentro del recurso personalizado del punto de conexión de flujo de datos.

Procesamiento por lotes

Use la configuración batching para configurar el número máximo de mensajes y la latencia máxima antes de que los mensajes se envíen al destino. Esta configuración es útil cuando desea optimizar el ancho de banda de red y reducir el número de solicitudes al destino.

Campo	Descripción	Obligatorio
latencySeconds	El número máximo de segundos que se deben esperar antes de enviar los mensajes al destino. El valor predeterminado es de 60 segundos.	No
maxMessages	El número máximo de mensajes que se van a enviar al destino. El valor predeterminado es 100 000 mensajes.	No

Por ejemplo, para configurar el número máximo de mensajes en 1000 y la latencia máxima en 100 segundos, use la siguiente configuración:

Portal

En la experiencia de operaciones, seleccione el punto de conexión del flujo de datos de la pestaña Avanzado.

Bicep

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Pasos siguientes

Para obtener más información sobre los flujos de datos, consulte Creación de un flujo de datos.