Compartir a través de

Migración de Dataflow Gen1 a Dataflow Gen2: escenarios de migración

  • Artículo

En este artículo se presentan diferentes escenarios de migración que puede tener en cuenta al migrar de Dataflow Gen1 a Dataflow Gen2. También proporciona instrucciones y recomendaciones de ejecución. Estos escenarios pueden inspirarle a determinar el enfoque de migración adecuado en función de sus requisitos y circunstancias empresariales.

Al migrar los flujos de datos, es importante pensar más allá de simplemente copiar soluciones existentes. En su lugar, se recomienda modernizar las soluciones aprovechando las últimas innovaciones y funcionalidades de Dataflow Gen2. Este enfoque garantiza que las soluciones puedan apoyar las crecientes demandas de la empresa.

Por ejemplo, Dataflow Gen2 tiene una característica denominada copia rápida, lo que reduce significativamente el tiempo necesario para ingerir datos para determinadas transformaciones y conectores. Dataflow Gen2 también ha mejorado la actualización incremental, que optimiza los procesos de actualización de datos actualizando únicamente los datos que han cambiado. Estos avances no solo mejoran el rendimiento y la eficacia, sino que también garantizan que las soluciones se escalen.

Nota

Los escenarios de migración son representativos de migraciones de clientes reales, pero los escenarios de cliente individuales variarán, por supuesto.

En este artículo no se trata la información de precios. Para obtener información sobre los precios, consulte Precios de Fabric.

Importante

El consumo de CPU por Dataflow Gen1 y Dataflow Gen2 puede variar por muchas razones, como el uso de nuevas características en Dataflow Gen2, incluida la preparación del almacén de lago de datos y el procesamiento en el almacén de datos. Se recomienda realizar análisis detallados (quizás como prueba de concepto [POC]) para cuantificar el consumo comparativo de CPU entre Dataflow Gen1 y Dataflow Gen2 antes de migrar los flujos de datos.

Escenarios de migración

Los flujos de datos ofrecen una plataforma versátil para crear soluciones ETL escalables (extracción, transformación y carga) y ELT (extracción, carga y transformación), que abarcan una variedad de escenarios de uso desde bi personal a BI empresarial.

Estos son tres escenarios posibles de migración que han inspirado este artículo:

  • uso personal o de equipo: los equipos pequeños o individuos usan flujos de datos para automatizar las tareas de ingesta y preparación de datos, lo que les permite centrarse en el análisis y la información obtenida. Por ejemplo, un equipo podría usar flujos de datos para extraer datos de varios orígenes, como Microsoft Excel o Microsoft SharePoint. Sus flujos de datos transforman los datos de origen según sus necesidades específicas y los cargan en un modelo semántico con fines de informes.
  • Uso departamental: los departamentos de una organización usan flujos de datos para administrar orígenes de datos más grandes y transformaciones complejas. Pueden crear flujos de datos compuestos que promuevan la reutilización y la coherencia en los informes departamentales, lo que garantiza que todos los miembros del equipo trabajen en la misma versión de datos.
  • Uso empresarial: A nivel empresarial, los flujos de datos son fundamentales para procesar grandes cantidades de datos en varios departamentos a escala. Sirven como una capa de preparación de datos centralizada que se alimenta en muchos modelos semánticos, que respaldan un amplio espectro de aplicaciones de análisis e inteligencia empresarial. Toda la organización se beneficia de datos confiables, actualizados, lo cual permite tomar decisiones informadas en todos los niveles.

En cada uno de estos escenarios, los flujos de datos ayudan a crear soluciones ETL/ELT sólidas y escalables que pueden crecer con las necesidades del equipo, departamento u organización. Los flujos de datos bien diseñados garantizan que los procesos de administración de datos sigan siendo eficaces y eficaces.

Para obtener más información sobre los escenarios de uso, consulte Planeamiento de la implementación de Microsoft Fabric.

Escenario de migración 1

En este escenario de migración, la organización usa flujos de datos de Power BI para la auto-preparación de datos y apoyar escenarios de uso personal o de equipo. Los flujos de datos están contenidos dentro de una sola área de trabajo asignada a una capacidad de Microsoft Fabric.

Los creadores de flujos de datos quieren aprovechar las funcionalidades avanzadas de Dataflow Gen2 con fines de creación. Al mismo tiempo, planean continuar temporalmente usando tablas de flujo de datos como origen de datos durante una migración por fases. Este enfoque garantiza la facilidad de uso y conectividad para los creadores de contenido que trabajan con modelos semánticos de Power BI existentes, hojas de cálculo de Excel o tablas de Dataverse, al menos hasta que se complete la transición a los orígenes de destino de datos admitidos.

Para migrar sus soluciones, los creadores de flujos de datos:

  1. Actualice el identificador del área de trabajo si se crea una nueva área de trabajo para almacenar el nuevo flujo de datos.
  2. Actualice las soluciones existentes desde el identificador de flujo de datos original (Gen1) al nuevo identificador de flujo de datos (Gen2).

Esta es una consulta de ejemplo que se ha actualizado para recuperar datos de una tabla de dimensiones de fecha.

let
    Source = PowerPlatform.Dataflows(null),
    Workspaces = Source{[Id="Workspaces"]}[Data],
    Workspace = Workspaces{[workspaceId="<enter new workspace ID>"]}[Data],
    DataflowId = Workspace{[dataflowId="<enter new dataflow ID"]}[Data],
    DimDateTable = DataflowId{[entity="DimDate", version=""]}[Data]
in
    DimDateTable

Sugerencia

Si parametriza los valores de workspaceId y dataflowId en los modelos semánticos, puede utilizar la operación de la API REST "Datasets - Actualizar el parámetro en el grupo" para actualizar de forma programática los detalles del parámetro mashup.

Importante

Aunque es posible obtener datos mediante el conector de flujo de datos, este enfoque no se recomienda al usar Dataflow Gen2. En su lugar, se recomienda usar la funcionalidad de destino de datos para generar todas las tablas creadas de Dataflow Gen2 a elementos de Fabric u otros destinos, siempre que sea posible. Esto se debe a que el conector Dataflows usa una capa de almacenamiento de implementación del sistema subyacente (denominada Dataflows StagingLakehouse), y podría cambiar cuando se agregan nuevas funciones o características.

Escenario de migración 2

En este escenario de migración, la organización usa flujos de datos de Power BI para la preparación de datos de autoservicio para admitir escenarios de uso de departamento con flujos de datos compuestos y tablas vinculadas en varias áreas de trabajo.

Los creadores de flujos de datos quieren aprovechar las funcionalidades avanzadas de Dataflow Gen2 para la creación, al tiempo que también comparten y generan eficazmente las tablas de flujo de datos en un almacén de lago de datos de Fabric. Este método aprovecha accesos directos de OneLake. Los accesos directos de OneLake simplifican la administración de soluciones al reducir la latencia del proceso asociada tradicionalmente con tablas vinculadas entre áreas de trabajo y eliminando copias de datos redundantes.

Para migrar sus soluciones, los creadores de flujos de datos:

  1. Reemplace las tablas enlazadas por accesos directos de OneLake, que proporcionan a los usuarios finales acceso directo a los datos.
  2. Actualice las soluciones existentes y las consultas de transición reemplazando las funciones de PowerPlatform.Dataflows o PowerBI.Dataflows por la función de acceso a datos de Lakehouse.Contents en Fabric.

Esta es una consulta de PowerQuery de ejemplo que se ha actualizado para recuperar datos de la tabla de dimensiones del cliente.

let
  Source = Lakehouse.Contents([]),
  WorkspaceId = Source{[workspaceId="<0000aaaa-11bb-cccc-dd22-eeeeee333333>"]}[Data],
  LakehouseId = WorkspaceId{[lakehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = LakehouseId{[Id="DimCustomer", ItemKind="Table"]}[Data]
in
  DimCustomerTable

Nota

Puede editar programáticamente expresiones de consulta en un modelo semántico de Power BI publicado en Fabric utilizando el punto de conexión XMLA de , y actualizando la expresión M particionada de una tabla.

Sin embargo, tenga en cuenta que una vez que modifique el modelo semántico mediante el punto de conexión XMLA, nunca podrá descargarlo desde el servicio Power BI.

Escenario de migración 3

En este escenario de migración, la organización usa flujos de datos de Power BI para la preparación de datos de autoservicio para admitir escenarios de uso de departamento con flujos de datos que se pueden componer en varias áreas de trabajo.

Los creadores de flujos de datos quieren aprovechar las funcionalidades avanzadas de Dataflow Gen2 para la creación, al tiempo que generan y comparten tablas de flujo de datos desde un almacenamiento de Fabric que tiene permisos de usuario pormenorizados. Este enfoque proporciona flexibilidad y el acceso a datos se puede implementar con seguridad de nivel de fila (RLS), seguridad de nivel de columna (CLS)y enmascaramiento dinámico de datos (DDM).

Para migrar sus soluciones, los creadores de flujos de datos:

  1. Conceda acceso a los datos a través de los permisos granulares del motor de cómputo SQL , que ofrecen acceso más selectivo a determinados usuarios al restringir el acceso a tablas y esquemas específicos, así como a implementar RLS y CLS.
  2. Actualice las soluciones existentes y las consultas de transición reemplazando la función PowerPlatform.Dataflows o PowerBI.Dataflows por la función de acceso a datos Fabric.Warehouse en Fabric.

Esta es una consulta de PowerQuery de ejemplo que se ha actualizado para recuperar datos de la tabla de dimensiones del cliente.

let
  Source = Fabric.Warehouse([]),
  WorkspaceId = Source{[workspaceId="0000aaaa-11bb-cccc-dd22-eeeeee333333"]}[Data],
  WarehouseId = WorkspaceId{[warehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = WarehouseId{[Schema="dbo", Item="DimCustomer"]}[Data]
in
  DimCustomerTable

Guía de migración

Se recomienda compilar un inventario de los flujos de datos y los elementos dependientes. También se recomienda usar plantillas de Power Query.

Inventario

Para ayudarle a planear la migración, el primer paso es realizar un inventario de los flujos de datos y de todas las soluciones de bajada que dependen de ellos. La identificación de elementos dependientes puede ayudar a evitar tiempos de inactividad e interrupciones.

  • Flujos de datos como origen en Power BI
    • Use la operación de la API REST Flujos de datos: obtener flujos de datos ascendentes en un grupo para identificar el linaje y las dependencias entre un flujo de datos que usa tablas vinculadas. En particular, las tablas vinculadas pueden tener una profundidad de hasta 32 referencias.
      • Como alternativa, puede utilizar la función Semantic Link Labslist_upstream_dataflows para simplificar el proceso de llamada recursiva a la operación de la API REST de Get Upstream Dataflows In Group. La función recorre en iteración todos los flujos de datos vinculados hasta que encuentra un registro con un valor vacío, lo que indica el final de la cadena.
    • Utilice la operación de la API REST Administración: conjuntos de datos GetDatasetToDataflowsLinksInGroupAsAdmin para compilar un inventario de modelos semánticos de Power BI que usan flujos de datos en un área de trabajo que requerirá actualizaciones.
    • Utilice las API de escáner de Microsoft Fabric para recuperar las expresiones de consulta mashup de los modelos semánticos del entorno del cliente. A continuación, puede buscar las expresiones de los ID de flujo de datos para comprender el linaje completo en la entidad.
  • Flujos de datos como origen en Power Apps
    • Obtenga acceso a las expresiones de consulta mashup desde la Tabla de flujo de datos dentro de la solución de la app Flujos de datos de Power Platform. Después, puede buscar las expresiones de los ID de flujo de datos para comprender el linaje completo entre las aplicaciones del inquilino. Para obtener información sobre cómo instalar y administrar aplicaciones en Dynamics 365 que se ejecutan en Microsoft Dataverse, consulte Administración de Power Apps.
  • flujos de datos como origen en Excel
    • Aunque los libros de trabajo de Excel no tienen una API REST para realizar un seguimiento del linaje y las dependencias, puede usar Visual Basic para Aplicaciones (VBA) y el objeto WorkbookConnection para determinar si la cadena de conexión contiene el texto Provider=Microsoft.Mashup.OleDb.1, lo cual indica una conexión de Power Query. Además, puede usar la propiedad WorkbookQuery.Formula para extraer fórmulas de Power Query.
    • Después de realizar el seguimiento del linaje de los flujos de datos, se recomienda actualizar las conexiones de flujo de datos existentes en Excel para elementos de Fabric de la siguiente manera:
      • Para acceder al punto de conexión de SQL Analytics de un almacén de lago de datos de Fabric, un almacén de datos, o una base de datos SQL, use el conector SQL Server, que utiliza la función de acceso a datos Sql.Database.
      • Para acceder al contenido del archivo de Fabric Lakehouse, use el conector de almacenamiento de Azure Data Lake Gen2 , que utiliza la función de acceso a datos AzureStorage.DataLake.
      • Para acceder a una base de datos del centro de eventos de Fabric, use el conector de Azure Data Explorer, que usa la función de acceso a datos AzureDataExplorer.Contents.

Plantillas de Power Query

Plantillas de Power Query simplifican el proceso de transferencia de un proyecto entre distintas integraciones de Power Query. Ayudan a simplificar lo que podría ser una tarea compleja y con mucho tiempo. Las plantillas encapsulan todo el proyecto de Power Query, incluidos los scripts y los metadatos, en un único archivo portátil.

Las plantillas de Power Query se han diseñado para ser compatibles con varias integraciones, como flujos de datos de Power BI (Gen1) y flujos de datos de Fabric (Gen2), lo que garantiza una transición sin problemas entre estos servicios.

Contenido relacionado

Para obtener más información sobre este artículo, consulte los siguientes recursos:

Los asociados de Fabric están disponibles para ayudar a su organización a tener éxito con el proceso de migración. Para interactuar con un asociado de Fabric, visite el portal de partners de Fabric.