Ingesta de datos en Fabric mediante la actividad de copia de Azure Data Factory
El conector de Microsoft Fabric Lakehouse en Azure Data Factory (ADF) y Azure Synapse Analytics habilita operaciones de lectura y escritura en Microsoft Fabric Lakehouse (tanto para tablas como para archivos). Este conector ofrece la capacidad de usar los flujos de datos de asignación y las canalizaciones de ADF y Synapse existentes para interactuar con almacenes de lago de Fabric. Este artículo le ayuda a configurar Microsoft Fabric para permitir la autenticación de la entidad de servicio y, a continuación, muestra el conector del almacén de lago para leer y escribir en el almacén de lago de Fabric.
Para obtener más información sobre Microsoft Fabric Lakehouse, consulte ¿Qué es un almacén de lago?
Conector de Lakehouse de Azure Data Factory
Ahora están disponibles un nuevo conector de servicio vinculado de Lakehouse y dos nuevos conjuntos de datos para los clientes que quieren empezar a leer y escribir en Microsoft Fabric Lakehouse. Para obtener una guía completa sobre el conector de Lakehouse, consulte Copia y transformación de datos en archivos de Microsoft Fabric Lakehouse (versión preliminar).
Autenticación
Servicio vinculado de Azure Data Factory
El conector de Microsoft Fabric Lakehouse requiere un registro de aplicaciones o una entidad de servicio (SPN) para la autenticación. Para comenzar, debe crear una nueva SPN o usar una existente. Microsoft Fabric permite el acceso de SPN a grupos de seguridad específicos o a toda la organización. Si un grupo de seguridad específico es la opción que usa la organización, la SPN usada en el conector de Lakehouse debe pertenecer a un grupo de seguridad que se agregue a la lista de permitidos.
Nota:
No se necesitan permisos (delegados) de API de Power BI
Acceso a API de Power BI
En el portal de administración de Power BI, el administrador de inquilinos de Power BI debe habilitar la opción Permitir que las entidades de servicio usen API de Power BI. El grupo de seguridad debe especificarse en la configuración Concesión de permisos a las entidades de servicio para utilizar las API de Power BI o puede habilitarlo para toda la organización.
Para obtener una guía completa, consulte Inserción de contenido de Power BI en una aplicación de análisis integrados con una entidad de servicio y un secreto de aplicación.
Nota:
Al asignar el grupo de seguridad al área de trabajo, puede haber un retraso para que la entidad de servicio tenga acceso al área de trabajo debido al almacenamiento en caché de permisos en Azure. Si necesita acceso inmediato, puede usar PowerShell para forzar una actualización de los permisos del usuario. Para ello, abra Windows PowerShell como administrador y ejecute los siguientes comandos:
Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace
Acceso al área de trabajo
Una vez agregado el grupo de seguridad, el grupo de seguridad o la entidad de servicio también se deben agregar a cada área de trabajo como miembro, colaborador o administrador. Consulte Concesión de acceso a los usuarios a las áreas de trabajo para obtener más detalles.
Demostración: configuración de la autenticación
Entidad de servicio de registro de aplicaciones
Cree una entidad de servicio (SPN) de registro de aplicaciones o use una existente. Siga los pasos sobre cómo registrar una aplicación con Microsoft Entra ID y crear una entidad de servicio.
Nota:
No es necesario asignar un identificador URI de redireccionamiento.
Grupo de seguridad
Cree un nuevo grupo de seguridad de Microsoft Entra o use uno existente y, a continuación, agréguele la SPN. Siga los pasos que se indican en Creación de un grupo básico e incorporación de miembros para crear un grupo de seguridad de Microsoft Entra.
Portal de administración de Power BI
En el portal de administración de Power BI, vaya a Configuración del desarrollador y seleccione Permitir que las entidades de servicio usen API de Power BI y, a continuación, habilite esta opción. A continuación, agregue el grupo de seguridad del paso anterior. Para más información sobre la configuración de inquilinos del portal de administración de Power BI, consulte Configuración de inquilinos.
Nota:
Asegúrate de que esté habilitada la configuración Los usuarios pueden acceder a los datos almacenados en OneLake con aplicaciones externas a Fabric. Consulta Permitir que las aplicaciones que se ejecutan fuera de Fabric accedan a los datos a través de OneLake.
Área de trabajo
Agregue la SPN o el grupo de servicios al área de trabajo con acceso de miembro, colaborador o administrador.
Azure Data Factory: servicio vinculado
En Azure Data Factory, cree un nuevo servicio vinculado de Microsoft Fabric Lakehouse.
Nota:
Para buscar el área de trabajo y los identificadores de Lakehouse, vaya a Fabric Lakehouse e identifíquelos desde la dirección URL. Por ejemplo: https://.../groups/<Workspace ID>>/lakehouses/<Lakehouse ID>
Azure Data Factory: conjunto de datos
Cree un conjunto de datos que haga referencia al servicio vinculado de Microsoft Fabric Lakehouse.
Nota:
Seleccione Ninguno en la opción Importar esquema si la tabla aún no existe y está especificando manualmente un nuevo nombre de tabla.
Demostración: escritura en una tabla de Fabric Lakehouse con una canalización de ADF
Source
Cree una canalización y agregue una actividad de copia al lienzo de la canalización. En la pestaña Origen de la actividad de copia, seleccione un conjunto de datos de origen que quiera mover a una tabla de Lakehouse. En este ejemplo, hacemos referencia a un archivo .csv desde una cuenta de Azure Data Lake Storage (ADLS) Gen2.
Sink
Vaya a la pestaña Receptor de la actividad de copia y seleccione el conjunto de datos de Fabric Lakehouse que se creó anteriormente.
Ejecución de la canalización
Ejecute la canalización para mover los datos de .csv a la tabla de Fabric Lakehouse.
Demostración: lectura en una tabla de Fabric Lakehouse con una canalización de ADF
En la sección anterior, se ha mostrado cómo usar ADF para escribir en una tabla de Fabric Lakehouse. Ahora, vamos a leer en una tabla de Fabric Lakehouse y escribir en un archivo Parquet en Azure Data Lake Storage (ADLS) Gen2 con una canalización similar.
Source
Cree una canalización y agregue una actividad de copia al lienzo de la canalización. En la pestaña Origen de la actividad de copia, seleccione el conjunto de datos de Fabric Lakehouse que se creó anteriormente.
Sink
Vaya a la pestaña Receptor de la actividad de copia y seleccione el conjunto de datos de destino. En este ejemplo, el destino es Azure Data Lake Storage (Gen2), como un archivo Parquet.
Ejecución de la canalización
Ejecute la canalización para mover los datos de la tabla de Fabric Lakehouse al archivo Parquet en ADLS Gen2.
Inspección del archivo Parquet en ADLS Gen2
Los datos de la tabla de Fabric Lakehouse ahora están disponibles en ADLS Gen2 como un archivo Parquet.
Resumen
En esta sección, hemos explorado los requisitos del conector de Lakehouse mediante la autenticación de entidad de servicio en una instancia de Microsoft Fabric Lakehouse y, a continuación, se le guiará por un ejemplo para leer y escribir en Lakehouse desde una canalización de Azure Data Factory. Este conector y funcionalidades también están disponibles en flujos de datos de asignación de Azure Data Factory, Azure Synapse Analytics y flujos de datos de asignación de Azure Synapse Analytics.