Compartir vía

Inicio rápido: Traslado y transformación de datos con flujos de datos y canalizaciones de datos

  • Artículo

En este tutorial, descubrirá cómo la experiencia de flujo de datos y canalización de datos puede crear una solución eficaz y completa de Data Factory.

Prerrequisitos

Para empezar, debe tener los siguientes requisitos previos:

Flujos de datos en comparación con las canalizaciones

Dataflows Gen2 le permite usar una interfaz de poco código y 300 transformaciones basadas en inteligencia artificial y datos para limpiar, preparar y transformar datos fácilmente con más flexibilidad que cualquier otra herramienta. Las canalizaciones de datos permiten funcionalidades completas de orquestación de datos integradas para crear flujos de trabajo de datos flexibles que satisfagan sus necesidades empresariales. En una canalización, puede crear agrupaciones lógicas de actividades que realizan una tarea, lo que podría incluir llamar a un flujo de datos para limpiar y preparar sus datos. Aunque hay alguna funcionalidad superpuesta entre los dos, la elección de la que usar para un escenario específico depende de si necesita la riqueza completa de las canalizaciones o puede usar las funcionalidades más sencillas pero limitadas de los flujos de datos. Para obtener más información, consulte la guía de decisión de Fabric

Transformación de datos con flujos de datos

Siga estos pasos para configurar el flujo de datos.

Paso 1: Crear un flujo de datos

  1. Elija el área de trabajo habilitada para Fabric y, a continuación, seleccione Nuevo. A continuación, seleccione "Dataflow Gen2" .

    Captura de pantalla en la que se muestra dónde empezar a crear un flujo de datos gen2.

  2. Aparece la ventana del editor del flujo de datos. Seleccione la tarjeta Importar desde SQL Server.

    Captura de pantalla que muestra la ventana del editor del flujo de datos.

Paso 2: Obtener datos

  1. En el cuadro de diálogo Conectar al origen de datos presentado a continuación, escriba los detalles para conectarse a la base de datos de Azure SQL y, a continuación, seleccione Siguiente. En este ejemplo, se usa la base de datos de ejemplo AdventureWorksLT establecida al configurar la base de datos de Azure SQL en los requisitos previos.

    Captura de pantalla que muestra cómo conectarse a una base de datos de Azure SQL.

  2. Seleccione los datos que desea transformar y, a continuación, seleccione Crear. Para este inicio rápido, seleccione SalesLT.Customer en los datos de ejemplo AdventureWorksLT proporcionados para Azure SQL DB y, a continuación, el botón Seleccionar tablas relacionadas para incluir automáticamente otras dos tablas relacionadas.

    Captura de pantalla que muestra dónde elegir entre los datos disponibles.

Paso 3: Transformar los datos

  1. Si no está seleccionada, seleccione el botón Vista Diagrama en la barra de estado de la parte inferior de la página, o seleccione Vista Diagrama en el menú Ver de la parte superior del editor de Power Query. Cualquiera de estas opciones puede alternar la visualización del diagrama.

    Captura de pantalla que muestra dónde seleccionar la vista de diagrama.

  2. Haga clic con el botón derecho en la consulta SalesLT Customer o seleccione los puntos suspensivos verticales situados a la derecha de la consulta y, después, seleccione Combinar consultas.

    Captura de pantalla en la que se muestra dónde encontrar la opción Combinar consultas.

  3. Configure la combinación seleccionando la tabla SalesLTOrderHeader como la tabla derecha de la combinación, la columna CustomerID de cada tabla como columna de combinación y Izquierda externa como tipo de combinación. A continuación, seleccione Aceptar para agregar la consulta de combinación.

    Captura de pantalla de la pantalla de configuración de combinación.

  4. Seleccione el botón Agregar destino de datos, que tiene el aspecto de un símbolo de base de datos con una flecha encima de él, en la nueva consulta de combinación que acaba de crear. A continuación, seleccione base de datos de Azure SQL como tipo de destino.

    Captura de pantalla que resalta el botón Agregar destino de datos en la consulta de combinación recién creada.

  5. Proporcione los detalles de la conexión de la base de datos de Azure SQL en la que se publicará la consulta de combinación. En este ejemplo, puede usar la base de datos AdventureWorksLT que también usamos como origen de datos para el destino.

    Captura de pantalla que muestra el cuadro de diálogo Conectar al destino de datos con valores de ejemplo rellenados.

  6. Elija una base de datos para almacenar los datos y proporcione un nombre de tabla y, después, seleccione Siguiente.

    Captura de pantalla que muestra la ventana Elegir destino de destino.

  7. Puede dejar la configuración predeterminada en el cuadro de diálogo Elegir configuración de destino y simplemente seleccionar Guardar configuración sin realizar ningún cambio aquí.

    Captura de pantalla que muestra el cuadro de diálogo Elegir configuración de destino.

  8. Seleccione Publicar de nuevo en la página del editor del flujo de datos para publicar el flujo de datos.

    Captura de pantalla en la que se resalta el botón Publicar en el editor de flujo de datos gen2.

Mover datos con canalizaciones de datos

Ahora que ha creado un Dataflow Gen2, puede operar en él en una canalización. En este ejemplo, copiará los datos generados desde el flujo de datos en formato de texto en una cuenta de Azure Blob Storage.

Paso 1: Crear una nueva canalización de datos

  1. En el área de trabajo, seleccione Nuevo y, a continuación, seleccione Canalización de datos.

    Captura de pantalla que muestra dónde iniciar una nueva canalización de datos.

  2. Asigne un nombre a la canalización y seleccione Crear.

    Captura de pantalla que muestra el mensaje de creación de la nueva canalización con un nombre de canalización de ejemplo.

Paso 2: Configurar el flujo de datos

  1. Agregue una nueva actividad de flujo de datos a la canalización de datos seleccionando Flujo de datos en la pestaña Actividades.

    Captura de pantalla en la que se muestra dónde seleccionar la opción Flujo de datos.

  2. Seleccione el flujo de datos en el lienzo de la canalización y, a continuación, la pestaña de Configuración . Elija el flujo de datos que creó anteriormente en la lista desplegable.

    Captura de pantalla que muestra cómo elegir el flujo de datos que creó.

  3. Seleccione Guardary, a continuación, Ejecutar para ejecutar el flujo de datos para rellenar inicialmente su tabla de consulta combinada que diseñó en el paso anterior.

    Captura de pantalla que muestra dónde seleccionar Ejecutar.

Paso 3: Usar el asistente de copia para agregar una actividad de copia

  1. Seleccione Copiar datos en el lienzo para abrir la herramienta Asistente para copia para empezar. O bien, seleccione Usar asistente para copia en la lista desplegable Copiar datos en la pestaña Actividades de la cinta de opciones.

    Captura de pantalla que muestra las dos maneras de acceder al asistente de copia.

  2. Elija el origen de datos seleccionando un tipo de origen de datos. En este tutorial, usará la instancia de Azure SQL Database usada anteriormente al crear el flujo de datos para generar una nueva consulta de combinación. Desplácese hacia abajo debajo de las ofertas de datos de ejemplo y seleccione la pestaña Azure y, a continuación, Azure SQL Database. A continuación, seleccione Siguiente para continuar.

    Captura de pantalla que muestra dónde elegir un origen de datos.

  3. Cree una conexión al origen de datos seleccionando Crear nueva conexión. Rellene la información de conexión necesaria en el panel y escriba AdventureWorksLT para la base de datos, donde se generó la consulta de combinación en el flujo de datos. A continuación, seleccione Siguiente.

    Captura de pantalla en la que se muestra dónde crear una nueva conexión.

  4. Seleccione la tabla que generó anteriormente en el paso de flujo de datos y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra cómo seleccionar entre las tablas disponibles.

  5. Para el destino, elija Azure Blob Storage y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra el destino de datos de Azure Blob Storage.

  6. Cree una conexión al destino seleccionando Crear nueva conexión. Proporcione los detalles de la conexión y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra cómo crear una conexión.

  7. Seleccione la Ruta de acceso de la carpeta y proporcione un Nombre de archivo y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra cómo seleccionar la ruta de acceso de carpeta y el nombre de archivo.

  8. Seleccione Siguiente de nuevo para aceptar el formato de archivo predeterminado, el delimitador de columna, el delimitador de fila y el tipo de compresión, incluido opcionalmente un encabezado.

    Captura de pantalla que muestra las opciones de configuración del archivo en Azure Blob Storage.

  9. Finalizar la configuración. A continuación, revise y seleccione Guardar y ejecutar para finalizar el proceso.

    Captura de pantalla que muestra cómo revisar la configuración de los datos de copia.

Paso 5: Diseñar la canalización de datos y guardar para ejecutar y cargar datos

  1. Para ejecutar la actividad de Copia después de la actividad Flujo de datos, arrastre desde Correcto en la actividad Flujo de datos a la actividad de Copia. La actividad Copiar solo se ejecuta después de que la actividad Flujo de datos se realice correctamente.

    Captura de pantalla que muestra cómo realizar la ejecución del flujo de datos después de la actividad de copia.

  2. Seleccione Guardar para guardar la canalización de datos. A continuación, seleccione Ejecutar para ejecutar la canalización de datos y cargar los datos.

    Captura de pantalla en la que se muestra dónde seleccionar Guardar y ejecutar.

Programación de la ejecución de canalización

Una vez que termine de desarrollar y probar la canalización, puede programarla para que se ejecute automáticamente.

  1. En la pestaña Inicio de la ventana del editor de canalizaciones, seleccione Programar.

    Captura de pantalla del botón Programar del menú de la pestaña Inicio del editor de canalizaciones.

  2. Configure la programación según sea necesario. En el ejemplo siguiente se programa la canalización para que se ejecute diariamente a las 8:00 p. m. hasta el final del año.

    Captura de pantalla que muestra la configuración de programación para que un pipeline se ejecute diariamente a las 8:00 p. m. hasta el final del año.

Contenido relacionado

En este ejemplo se muestra cómo crear y configurar un flujo de datos Gen2 para crear una consulta de combinación y almacenarla en una base de datos de Azure SQL y, a continuación, copiar datos de la base de datos en un archivo de texto en Azure Blob Storage. Ha aprendido a:

  • Cree un flujo de datos.
  • Transforme los datos con el flujo de datos.
  • Cree una canalización de datos mediante el flujo de datos.
  • Ordene la ejecución de pasos en la canalización.
  • Copie los datos con el Asistente de Copia.
  • Ejecute y programe su canalización de datos.

A continuación, avance para obtener más información sobre la supervisión de las ejecuciones de canalización.

Cómo supervisar las ejecuciones de canalizaciones en Microsoft Fabric