Guía de decisión de Microsoft Fabric: actividad de copia, flujo de datos o Spark
Use esta guía de referencia y los escenarios de ejemplo lo ayudarán a decidir si necesita una actividad de copia, un flujo de datos o Spark para las cargas de trabajo de Microsoft Fabric.
Propiedades de actividad de copia, flujo de datos y Spark
| Actividad de copia de canalización | Flujo de datos Gen 2 | Spark | |
|---|---|---|---|
| Caso de uso | Migración del lago de datos y del almacenamiento de datos, ingesta de datos, transformación ligera |
Ingesta de datos, transformación de datos, limpieza y transformación de datos, generación de perfiles de datos |
Ingesta de datos, transformación de datos, procesamiento de datos, generación de perfiles de datos |
| Rol de desarrollador principal | Ingeniero de datos, integrador de datos |
Ingeniero de datos, integrador de datos, analista de negocios |
Ingeniero de datos, científico de datos, desarrollador de datos |
| Conjunto de aptitudes del desarrollador principal | ETL, SQL, JSON |
ETL, M, SQL |
Spark (Scala, Python, Spark SQL, R) |
| Código escrito | Sin código, código bajo |
Sin código, código bajo |
Código |
| Volumen de datos | De bajo a alto | De bajo a alto | De bajo a alto |
| Interfaz de desarrollo | Asistente, lienzo |
Power Query | Cuaderno, Definición de trabajos de Spark |
| Sources | +30 conectores | +150 conectores | Cientos de bibliotecas de Spark |
| Destinos | +18 conectores | Lakehouse, -Azure SQL Database, Azure Data Explorer, Azure Synapse analytics |
Cientos de bibliotecas de Spark |
| Complejidad de la transformación | Bajo: ligero: conversión de tipos, asignación de columnas, archivos de combinación o división, jerarquía plana |
De bajo a alto: +300 funciones de transformación |
De bajo a alto: compatibilidad con las bibliotecas nativas de Spark y de código abierto |
Revise los tres escenarios siguientes para obtener ayuda con la elección de cómo trabajar con los datos en Fabric.
Escenario 1
Leo, ingeniero de datos, debe ingerir un gran volumen de datos de sistemas externos, tanto locales como en la nube. Estos sistemas externos incluyen bases de datos, sistemas de archivos y API. Leo no quiere escribir y mantener código para cada conector o operación de movimiento de datos. Quiere seguir las prácticas recomendadas para los niveles de medallas (bronce, plata y oro). Leo no tiene experiencia con Spark, por lo que prefiere la interfaz de usuario de arrastrar y colocar, con una codificación mínima. Y también quiere procesar los datos según una programación.
El primer paso es obtener los datos sin procesar en el lago de datos del nivel bronce de los recursos de datos de Azure y varios orígenes de terceros (como Snowflake Web, REST, AWS S3, GCS, etc.). Quiere un lago de datos consolidado, de modo que todos los datos procedentes de distintos LOB, locales y orígenes en la nube residan en un único lugar. Leo revisa las opciones y selecciona la actividad de copia de canalización como opción adecuada para su copia binaria sin procesar. Este patrón se aplica a la actualización de datos históricos e incrementales. Con la actividad de copia, Leo puede cargar datos Oro en un almacenamiento de datos sin código si surge la necesidad y las canalizaciones proporcionan una ingesta de datos a gran escala que puede mover datos a escala de petabyte. La actividad de copia es la mejor opción de código bajo y sin código para mover petabytes de datos a lago de datos y almacenamientos de variedades de orígenes, ya sea ad hoc o a través de una programación.
Escenario 2
Mary es una ingeniera de datos con un profundo conocimiento de los requisitos de los informes analíticos de varios LOB. Un equipo ascendente ha implementado correctamente una solución para migrar varios datos históricos e incrementales de LOB a un lago de datos común. Mary se ha encargado de limpiar los datos, aplicar lógicas de negocios y cargarlos en varios destinos (como Azure SQL DB, ADX y un lago de datos) como preparación para sus respectivos equipos de creación de informes.
Mary es una usuaria experimentada de Power Query y el volumen de datos está en el intervalo de bajo a medio para lograr el rendimiento deseado. Los flujos de datos proporcionan interfaces sin código o poco código para ingerir datos de cientos de orígenes de datos. Con los flujos de datos, puede transformar los datos con más de 300 opciones de transformación de datos y escribir los resultados en varios destinos con una interfaz de usuario muy visual y fácil de usar. Mary revisa las opciones y decide que tiene sentido usar Flujo de datos Gen 2 como opción de transformación preferida.
Escenario 3
Adam es un ingeniero de datos que trabaja para una gran empresa minorista que usa un lagi de datos para almacenar y analizar los datos de sus clientes. En su trabajo, Adam es responsable de la creación y el mantenimiento de las canalizaciones de datos que extraen, transforman y cargan datos en el lago de datos. Uno de los requisitos de la empresa es realizar análisis de las opiniones de los clientes para conocer sus experiencias y mejorar sus servicios.
Adam decide que la mejor opción es usar Spark para crear la lógica de extracción y transformación. Spark proporciona una plataforma informática distribuida que puede procesar grandes cantidades de datos en paralelo. Escribe una aplicación Spark con Python o Scala, que lee datos estructurados, semiestructurados y no estructurados de OneLake para obtener opiniones y comentarios de los clientes. La aplicación limpia, transforma y escribe datos en las tablas Delta del lago de datos. A continuación, los datos están listos para usarse para el análisis de bajada.