Novedades y planeadas para Data Factory en Microsoft Fabric
Importante
Los planes de versión describen la funcionalidad que puede haberse publicado o no. Las escalas de tiempo de entrega y la funcionalidad proyectada pueden cambiar o no enviarse. Consulte la directiva de Microsoft para obtener más información.
Data Factory en Microsoft Fabric combina la integración de datos ciudadanos y las funcionalidades de integración de datos profesionales en una única experiencia de integración de datos moderna. Proporciona conectividad a más de 100 bases de datos relacionales y no relacionales, almacenes de lago, almacenes de datos, interfaces genéricas, como API REST, OData, etc.
Flujos de datos: Dataflow Gen2 permite realizar transformaciones de datos a gran escala y admite varios destinos de salida que escriben en Azure SQL Database, Lakehouse, Data Warehouse, etc. El editor de flujos de datos ofrece más de 300 transformaciones, incluidas las opciones basadas en inteligencia artificial, y permite transformar los datos fácilmente con una mayor flexibilidad que cualquier otra herramienta. Independientemente de si va a extraer datos de un origen de datos no estructurado, como una página web o volver a dar forma a una tabla existente en el editor de Power Query, puede aplicar fácilmente la extracción de datos de Power Query por ejemplo, que usa inteligencia artificial (IA) y simplifica el proceso.
Canalizaciones de datos: las canalizaciones de datos ofrecen la capacidad de crear flujos de trabajo versátiles de orquestación de datos que reúnen tareas como la extracción de datos, la carga en almacenes de datos preferidos, la ejecución de cuadernos, la ejecución de scripts SQL, etc. Puede crear rápidamente canalizaciones de datos eficaces controladas por metadatos que automatizan tareas repetitivas. Por ejemplo, cargar y extraer datos de diferentes tablas de una base de datos, recorrer en iteración varios contenedores de Azure Blob Storage, etc. Además, con canalizaciones de datos, puede acceder a los datos de Microsoft 365 mediante el conector de conexión de datos de Microsoft Graph (MGDC).
Trabajo de copia: el trabajo de copia simplifica la experiencia de ingesta de datos con un proceso simplificado y fácil de usar, moviendo datos a escala de petabyte desde cualquier origen a cualquier destino. Puede copiar datos con varios estilos de entrega de datos, como la copia por lotes, la copia incremental y mucho más.
Trabajo de Apache Airflow: el trabajo de Apache Airflow es la próxima generación del Administrador de orquestaciones de flujos de trabajo de Azure Data Factory. Es una manera sencilla y eficaz de crear y administrar trabajos de orquestación de Apache Airflow, lo que le permite ejecutar gráficos Acíclicos dirigidos (DAG) a escala con facilidad. El trabajo de Apache Airflow le permite disfrutar de una experiencia de integración de datos moderna para ingerir, preparar, transformar y organizar datos desde un amplio conjunto de orígenes de datos mediante código.
Creación de reflejo de la base de datos: la creación de reflejo de la base de datos en Fabric es una solución de bajo costo y baja latencia, diseñada con estándares abiertos (por ejemplo, formato de tabla delta Lake). Permite replicar datos y metadatos de varios sistemas rápidamente. Con la creación de reflejo de la base de datos, puede replicar continuamente el patrimonio de datos en Microsoft Fabric OneLake para su análisis. Con una experiencia muy integrada y fácil de usar, ahora puede simplificar cómo puede empezar a trabajar con sus necesidades de análisis.
Para obtener más información, consulte la documentación.
Áreas de inversión
Durante los próximos meses, Data Factory en Microsoft Fabric expandirá sus opciones de conectividad y seguirá agregando a la biblioteca enriquecida de transformaciones y actividades de canalización de datos. Además, permite realizar la replicación de datos en tiempo real y de alto rendimiento desde bases de datos operativas y llevar estos datos al lago para el análisis.
Compatibilidad con CI/CD y API públicas de Flujo de datos Gen2
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: versión preliminar pública
Las funcionalidades de Dataflow Gen2 se mejorarán para admitir las siguientes características en Fabric, entre las que se incluyen:
- Poder incluir elementos de Dataflow Gen2 en canalizaciones de implementación de ALM.
- Poder aprovechar los elementos de Dataflow Gen2 con funcionalidades de control de código fuente (integración de Git).
- API CRUDLE públicas para elementos de Dataflow Gen2.
Estas son funcionalidades muy solicitadas de muchos clientes y nos complace que estén disponibles como una característica en versión preliminar.
Tablas y particiones de actualización del modelo semántico
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: versión preliminar pública
Los usuarios de canalización están muy entusiasmados con nuestra popular actividad de canalización de actualización de modelos semánticos. Una pregunta común ha sido mejorar su canalización de procesamiento elT actualizando tablas y particiones específicas en sus modelos. Ahora hemos habilitado esta característica para que la actividad de canalización sea la manera más eficaz de actualizar los modelos semánticos de Fabric.
Importación y exportación de canalización de Fabric Data Factory
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: disponibilidad general
Como desarrollador de canalizaciones de Data Factory, a menudo querrá exportar la definición de canalización para compartirla con otros desarrolladores o reutilizarla en otras áreas de trabajo. Ahora hemos agregado la capacidad de exportar e importar las canalizaciones de Data Factory desde el área de trabajo de Fabric. Esta eficaz característica permitirá aún más funcionalidades colaborativas y será inestimable al solucionar problemas de las canalizaciones con nuestros equipos de soporte técnico.
Copilot para Data Factory (canalización de datos)
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: versión preliminar pública
Copilot para Data Factory (canalización de datos) permite a los clientes crear canalizaciones de datos mediante lenguaje natural y proporciona instrucciones de solución de problemas.
Creación de reflejo para Azure SQL DB
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: disponibilidad general
La creación de reflejo proporciona una experiencia sin problemas sin ETL para integrar los datos existentes de Azure SQL DB con el resto de los datos en Microsoft Fabric. Puede replicar continuamente los datos de Azure SQL DB directamente en Fabric OneLake casi en tiempo real, sin ningún efecto en el rendimiento de las cargas de trabajo transaccionales.
Más información sobre la creación de reflejo en Microsoft Fabric
Abrir creación de reflejo
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: versión preliminar pública
La creación de reflejo abierta es una característica eficaz que mejora la extensibilidad de Fabric al permitir que cualquier aplicación o proveedor de datos lleve su patrimonio de datos directamente a OneLake con un esfuerzo mínimo. Al permitir que los proveedores de datos y las aplicaciones escriban datos modificados directamente en una base de datos reflejada dentro de Fabric, Open Mirroring simplifica el control de cambios complejos de datos, lo que garantiza que todos los datos reflejados estén actualizados y listos para su análisis continuamente.
Compatibilidad con SPN de API públicas de canalizaciones de datos
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: versión preliminar pública
Para que el uso de las API REST de canalización en Fabric sea mucho más fácil y segura, habilitaremos la compatibilidad con SPN (entidad de servicio) para las API públicas.
Compatibilidad de canalización de datos con variables del área de trabajo de Fabric
Escala de tiempo de lanzamiento estimada: Q4 2024
Tipo de versión: versión preliminar pública
Al implementar CICD en los entornos de canalización de Fabric Data Factory, es muy importante actualizar los valores de desarrollo para probar a prod, etc. Mediante el uso de variables dentro de Fabric, puede reemplazar valores entre entornos y también compartir valores entre canalizaciones similares a los parámetros globales de ADF.
Actualización automática de la puerta de enlace de datos local
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
La característica de actualización automática de la puerta de enlace de datos local garantiza que la puerta de enlace siempre ejecute la versión más reciente, lo que proporciona funcionalidad mejorada, actualizaciones de seguridad y nuevas características sin intervención manual. Esta característica simplifica la administración de la puerta de enlace descargando e instalando actualizaciones automáticamente a medida que estén disponibles.
Compatibilidad de canalización de datos con puertas de enlace de red virtual
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
La puerta de enlace de datos de red virtual admitirá la canalización de datos fabric, incluida la actividad de copia de canalización y otras actividades de canalización. Los clientes podrán conectarse de forma segura a sus orígenes de datos en la canalización a través de la puerta de enlace de datos de red virtual.
Destino de salida de Flujo de datos Gen2 a archivos de SharePoint
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Después de limpiar y preparar los datos con Dataflow Gen 2, esta característica permite seleccionar archivos de SharePoint como destino de datos. Esta característica facilita la exportación de datos transformados en un archivo CSV y almacenarlos en Microsoft SharePoint para que estén disponibles para todos los usuarios con permiso para el sitio.
Compatibilidad de canalización de datos con desencadenadores de ventana de saltos de tamaño constante
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Programar ejecuciones de canalización con ventanas de tiempo que no se superponen y que se pueden "reproducir" es una característica muy importante en las canalizaciones que muchos usuarios de ADF han disfrutado de usar. Nos complace llevar esta característica de ventana de saltos de tamaño constante a la programación de canalizaciones en Fabric Data Factory.
Elementos de Azure Data Factory
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: disponibilidad general
Nos complace anunciar la disponibilidad general del elemento de Azure Data Factory en Fabric. Con esta nueva funcionalidad, los usuarios de ADF existentes pueden hacer que sus factorías de datos de Azure estén disponibles para su área de trabajo de Fabric de forma rápida y sencilla. Ahora puede administrar, editar e invocar las canalizaciones de ADF directamente desde Fabric.
Compatibilidad con la actividad de copia de canalización de datos para orígenes adicionales
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: disponibilidad general
Estamos ampliando la compatibilidad con más conectores de origen en actividad de copia, lo que permite a los clientes copiar datos sin problemas desde una amplia gama de orígenes, como Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (agrupado) y mucho más.
Ejecución en paralelo de flujos de datos Gen 2
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
"Los usuarios quieren una manera flexible de definir la lógica de sus transformaciones de Dataflow Gen2 y paralelizar la ejecución con distintos argumentos. En la actualidad, necesitan crear varios flujos de datos o varias consultas dentro de su único flujo de datos para tener una lógica que se pueda reutilizar con distintos argumentos.
Como parte de esta mejora, habilitaremos formas de que los usuarios establezcan un bucle ""foreach"" para todo su elemento de flujo de datos controlado desde una consulta independiente que actúa como la lista de valores de parámetro para iterar y impulsar este enfoque en contenedores para la ejecución en paralelo y dinámica".
Administración de identidades del origen de datos (Azure Key Vault)
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Compatibilidad con Azure Key Vault: puede almacenar sus claves y secretos en Azure Key Vault y conectarse a él. De este modo, puede administrar las claves en un solo lugar.
Creación de reflejo para CosmosDB
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: disponibilidad general
La creación de reflejo proporciona una experiencia sin problemas de ETL para integrar los datos existentes de Azure Cosmos DB con el resto de los datos en Microsoft Fabric. Puede replicar constantemente los datos de Azure Cosmos DB en OneLake casi en tiempo real, sin que ello afecte al rendimiento de las cargas de trabajo transaccionales.
Compatibilidad con CI/CD y API públicas de Flujo de datos Gen2
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: disponibilidad general
Los elementos de Dataflow Gen2 admitirán las funcionalidades de CI/CD en Fabric, incluido el control de código fuente (integración de Git), así como las canalizaciones de implementación de ALM. Además, los clientes podrán interactuar mediante programación con elementos de Dataflow Gen2 en Fabric a través de las API REST de Fabric, lo que proporciona compatibilidad con las operaciones CRUDLE sobre elementos de Dataflow Gen2.
Compatibilidad con SPN de las API públicas de Dataflow Gen2
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Los elementos de Dataflow Gen2 se admitirán a través de las API REST de Fabric con compatibilidad con la autenticación de la entidad de servicio.
Actualización incremental de Flujo de datos Gen2
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: disponibilidad general
A finales de septiembre de 2024, publicamos la actualización incremental de Dataflow Gen2 como una característica de versión preliminar pública. Seguiremos supervisando los comentarios de los clientes y mejorando esta característica que conduce a su disponibilidad general, planeada para el final de Q1CY2025.
Compatibilidad con la actualización incremental de Dataflow Gen2 para el destino de Lakehouse
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
La actualización incremental de Flujo de datos Gen2 optimiza la ejecución del flujo de datos para recuperar solo los datos más recientes modificados en los orígenes de datos del flujo de datos, en función de una columna de partición datetime. Esto garantiza que los datos se pueden cargar incrementalmente en OneLake para las transformaciones de bajada o la salida a un destino de salida de flujo de datos.
Como parte de esta mejora, proporcionaremos compatibilidad directa con la actualización incremental para generar datos directamente en tablas de Fabric Lakehouse.
Parametrización de Dataflow Gen2
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Los usuarios están acostumbrados a ejecutar canalizaciones controladas por metadatos en las que pueden insertar variables o parámetros en diferentes actividades de una canalización y, por tanto, ejecutar cosas de forma más dinámica: Crear una vez, reutilizar varias veces.
Como parte de esta mejora, lo haremos para que los flujos de datos ejecutados a través de una canalización de datos en Fabric se puedan proporcionar con valores de parámetro para sus parámetros de flujo de datos existentes.
Compatibilidad con Dataflow Gen2 para Guardar como nuevo elemento
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
A menudo, a los clientes les gustaría volver a crear un flujo de datos existente como un nuevo flujo de datos. En la actualidad, para lograr esto, deben crear el nuevo elemento de Dataflow Gen2 desde cero y copiar y pegar sus consultas existentes, o aprovechar las funcionalidades de plantilla Exportar e importar Power Query. Sin embargo, esto no solo es inconveniente debido a pasos innecesarios, sino que tampoco lleva a cabo configuraciones de flujo de datos adicionales, como Actualización programada y otras propiedades de elemento (nombre, descripción, etiqueta de confidencialidad, etc.).
Como parte de esta mejora, proporcionaremos un gesto rápido "Guardar como" dentro de la experiencia de edición de Dataflow Gen2, lo que permite a los usuarios guardar su flujo de datos existente como un nuevo flujo de datos.
Compatibilidad con Dataflow Gen1 para guardar como elemento nuevo de Dataflow Gen2
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
A menudo, los clientes desean volver a crear un elemento de Dataflow Gen1 existente como un nuevo elemento de Dataflow Gen2. En la actualidad, para lograr esto, deben crear el nuevo elemento de Dataflow Gen2 desde cero y copiar y pegar sus consultas existentes, o aprovechar las funcionalidades de plantilla Exportar e importar Power Query. Sin embargo, esto no solo es inconveniente debido a pasos innecesarios, sino que tampoco lleva a cabo configuraciones de flujo de datos adicionales, como Actualización programada y otras propiedades de elemento (nombre, descripción, etiqueta de confidencialidad, etc.).
Como parte de esta mejora, proporcionaremos un gesto rápido "Guardar como" dentro de la experiencia de edición de Dataflow Gen1, lo que permite a los usuarios guardar su elemento de Dataflow Gen1 existente como un nuevo elemento de Dataflow Gen2.
Copiar trabajo: copia incremental sin que los usuarios tengan que especificar columnas de marca de agua
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Presentaremos la funcionalidad CDC nativa (Captura de datos modificados) en El trabajo de copia para conectores clave. Esto significa que la copia incremental detectará automáticamente los cambios; no es necesario que los clientes especifiquen columnas incrementales.
Copiar trabajo
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: disponibilidad general
Copiar trabajo en Data Factory eleva la experiencia de ingesta de datos a un proceso más simplificado y fácil de usar de cualquier origen a cualquier destino. Ahora, copiar los datos es más fácil que nunca. El trabajo de copia admite varios estilos de entrega de datos, incluida la copia por lotes y la copia incremental, lo que ofrece la flexibilidad para satisfacer sus necesidades específicas.
Compatibilidad con CI/CD del trabajo de copia
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Los elementos de trabajo de copia admitirán las funcionalidades de CI/CD en Fabric, incluido el control de código fuente (integración de Git), así como las canalizaciones de implementación de ALM.
Compatibilidad con las API públicas de trabajo de copia
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Los clientes podrán interactuar mediante programación con elementos de trabajo de copia en Fabric a través de las API públicas de Fabric, lo que proporciona compatibilidad con las operaciones CRUDLE a través de elementos de trabajo de copia
Compatibilidad de Dataflow Gen2 con orígenes de copia rápida adicionales
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Estamos ampliando la copia rápida en Dataflow Gen2 para admitir más conectores de origen, lo que permite a los clientes cargar datos con un mayor rendimiento. Los nuevos conectores incluirán archivos fabric Lakehouse, Google BigQuery, Amazon Redshift, etc., lo que permitirá una integración de datos más rápida y eficaz.
Compatibilidad con trabajos de copia para orígenes adicionales
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Estamos ampliando la compatibilidad con más conectores de origen en el trabajo de copia, lo que permite a los clientes copiar datos sin problemas desde una amplia gama de orígenes. Al mismo tiempo, mantendremos la experiencia simplificada al ofrecer diversos patrones de copia, incluida la copia completa y la copia incremental.
Compatibilidad de canalización de datos con desencadenadores de eventos de Almacenamiento OneLake
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Un mecanismo popular que se usa para invocar canalizaciones en Fabric Data Factory usa el desencadenador de archivos. Cuando se detectan eventos de archivo (es decir, llegada de archivos, eliminación de archivos...) en el almacén de blobs o ADLS Gen2, se invocará la canalización de Fabric Data Factory. Ahora hemos agregado eventos de archivo OneLake a los tipos de eventos de desencadenador en Fabric.
Permitir a los clientes parametrizar sus conexiones
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Las conexiones proporcionan un marco común para definir la conectividad y la autenticación para los almacenes de datos. Estas conexiones se pueden compartir entre distintos elementos. Con la compatibilidad con la parametrización, podrá crear canalizaciones complejas y reutilizables, cuadernos, flujos de datos y otros tipos de elementos.
Compatibilidad con la canalización de datos para DBT
Escala de tiempo de lanzamiento estimada: Q1 2025
Tipo de versión: versión preliminar pública
Orquestación de la CLI de DBT (Herramienta de compilación de datos): incorpora la herramienta de compilación de datos (dbt) para los flujos de trabajo de transformación de datos.
Compatibilidad con identidades administradas asignadas por el usuario en Conexiones
Escala de tiempo de lanzamiento estimada: Q2 2025
Tipo de versión: versión preliminar pública
Esta mejora para admitir identidades administradas asignadas por el usuario en Connections proporciona un valor significativo al ofrecer un método de autenticación más seguro y flexible para acceder a los recursos de datos. Evita la codificación de credenciales, simplifica la administración al eliminar la necesidad de rotar secretos, garantiza el cumplimiento de las directivas de seguridad, se integra sin problemas con los servicios de Azure y admite la escalabilidad en las conexiones al permitir que varias instancias compartan la misma identidad.
Características enviadas
Azure Data Factory en Fabric
Enviado (Q3 2024)
Tipo de versión: versión preliminar pública
Lleve la instancia de Azure Data Factory (ADF) existente al área de trabajo de Fabric. Se trata de una nueva funcionalidad de versión preliminar que le permite conectarse a los generadores de ADF existentes desde el área de trabajo de Fabric.
Ahora podrá administrar completamente las factorías de ADF directamente desde la interfaz de usuario del área de trabajo de Fabric. Una vez que la instancia de ADF esté vinculada al área de trabajo de Fabric, podrá desencadenar, ejecutar y supervisar las canalizaciones como lo hace en ADF, pero directamente dentro de Fabric.
Compatibilidad con la invocación de canalizaciones de datos entre áreas de trabajo
Enviado (Q3 2024)
Tipo de versión: versión preliminar pública
Invocar actualización de actividad de canalizaciones: habilitamos algunas actualizaciones nuevas y emocionantes en la actividad Invocar canalización. En respuesta a las solicitudes abrumadoras de clientes y de la comunidad, estamos habilitando la ejecución de canalizaciones de datos entre áreas de trabajo. Ahora podrá invocar canalizaciones desde otras áreas de trabajo a las que tenga acceso para ejecutar. Esto permitirá patrones de flujo de trabajo de datos muy interesantes que pueden usar la colaboración de los equipos de ingeniería e integración de datos en áreas de trabajo y en equipos funcionales.
Compatibilidad con la puerta de enlace de datos local (OPDG) agregada a las canalizaciones de datos
Enviado (Q3 2024)
Tipo de versión: disponibilidad general
Esta característica permite que las canalizaciones de datos usen puertas de enlace de datos de Fabric para acceder a los datos locales y detrás de una red virtual. Para los usuarios que usan entornos de ejecución de integración autohospedados (SHIR), podrán moverse a puertas de enlace de datos locales en Fabric.
Copiar trabajo
Enviado (Q3 2024)
Tipo de versión: versión preliminar pública
El trabajo de copia simplifica la experiencia de los clientes que necesitan ingerir datos, sin tener que crear un flujo de datos o una canalización de datos. Copy Job admite la copia completa e incremental de cualquier origen de datos a cualquier destino de datos. Regístrese para versión preliminar privada ahora.
Creación de reflejo para Snowflake
Enviado (Q3 2024)
Tipo de versión: disponibilidad general
La creación de reflejo proporciona una experiencia sin problemas de ETL para integrar los datos existentes de Snowflake con el resto de los datos en Microsoft Fabric. Puede replicar continuamente los datos de Snowflake directamente en Fabric OneLake casi en tiempo real, sin ningún efecto en el rendimiento de las cargas de trabajo transaccionales.
Notificaciones de correo electrónico mejoradas para errores de actualización
Enviado (Q3 2024)
Tipo de versión: versión preliminar pública
Las notificaciones por correo electrónico permiten a los creadores de Dataflow Gen2 supervisar los resultados (éxito o error) de la operación de actualización de un flujo de datos.
Compatibilidad con copia rápida en Dataflow Gen2
Enviado (Q3 2024)
Tipo de versión: disponibilidad general
Estamos agregando compatibilidad con la ingesta de datos a gran escala directamente dentro de la experiencia de Dataflow Gen2, mediante la funcionalidad de la actividad de copia de canalizaciones. Esta mejora escala considerablemente la capacidad de procesamiento de datos de Dataflow Gen2, lo que proporciona funcionalidades elT a gran escala (extract-load-transform).
Compatibilidad con la actualización incremental en Dataflow Gen2
Enviado (Q3 2024)
Tipo de versión: versión preliminar pública
Estamos agregando compatibilidad con la actualización incremental en Dataflow Gen2. Esta característica permite extraer datos de orígenes de datos de forma incremental, aplicar transformaciones de Power Query y cargarlos en varios destinos de salida.
Administración de identidades de origen de datos (identidad administrada)
Enviado (Q3 2024)
Tipo de versión: versión preliminar pública
Esto permite configurar la identidad administrada en un nivel de área de trabajo. Puede usar las identidades administradas de Fabric para conectarse al origen de datos de forma segura.
Compatibilidad con la canalización de datos para trabajos de Azure Databricks
Enviado (Q3 2024)
Tipo de versión: versión preliminar pública
Estamos actualizando las canalizaciones de datos de Data Factory actividades de Azure Databricks para que ahora usen la API de trabajos más reciente, lo que permite funcionalidades de flujo de trabajo interesantes, como la ejecución de trabajos DLT.
Copilot para Data Factory (flujo de datos)
Enviado (Q3 2024)
Tipo de versión: disponibilidad general
Copilot para Data Factory (Flujo de datos) permite a los clientes expresar sus requisitos mediante lenguaje natural al crear soluciones de integración de datos con Dataflows Gen2.
Compatibilidad con la canalización de datos para SparkJobDefinition
Enviado (Q2 2024)
Tipo de versión: disponibilidad general
Ahora puede ejecutar el código de Spark, incluidos los archivos JAR, directamente desde una actividad de canalización. Simplemente apunte al código de Spark y la canalización ejecutará el trabajo en el clúster de Spark en Fabric. Esta nueva actividad permite patrones de flujo de trabajo de datos interesantes que aprovechan la eficacia del motor spark de Fabric, al tiempo que incluye las funcionalidades de flujo de control y flujo de datos de Data Factory en la misma canalización que los trabajos de Spark.
Compatibilidad de canalización de datos con desencadenadores controlados por eventos
Enviado (Q2 2024)
Tipo de versión: versión preliminar pública
Un caso de uso común para invocar canalizaciones de datos de Data Factory es desencadenar la canalización tras eventos de archivo, como la llegada de archivos y la eliminación de archivos. Para los clientes procedentes de ADF o Synapse a Fabric, el uso de eventos de almacenamiento de ADLS/Blog es muy común como una manera de indicar una nueva ejecución de canalización o capturar los nombres de los archivos creados. Los desencadenadores de Fabric Data Factory aprovechan las funcionalidades de la plataforma Fabric, incluidos los desencadenadores EventStreams y Reflex. Dentro del lienzo de diseño de canalización de Fabric Data Factory, tendrá un botón Desencadenador que puede presionar para crear un desencadenador Reflex para la canalización o puede crear el desencadenador directamente desde la experiencia de Desencadenador de datos.
Valores predeterminados de almacenamiento provisional para el destino de salida de Dataflow Gen 2
Enviado (Q2 2024)
Tipo de versión: versión preliminar pública
Dataflow Gen2 proporciona funcionalidades para ingerir datos de una amplia gama de orígenes de datos en Fabric OneLake. Al almacenar provisionalmente estos datos, se puede transformar a gran escala aprovechando el motor de flujos de datos a gran escala Gen2 (basado en el proceso sql de Fabric Lakehouse/Warehouse).
El comportamiento predeterminado de Dataflows Gen2 es almacenar provisionalmente los datos en OneLake para habilitar transformaciones de datos a gran escala. Aunque esto funciona bien para escenarios a gran escala, no funciona tan bien para escenarios que implican pequeñas cantidades de datos que se ingieren, dado que introduce un salto adicional (almacenamiento provisional) para los datos antes de cargarlos en última instancia en el destino de salida del flujo de datos.
Con las mejoras planeadas, estamos ajustando el comportamiento de almacenamiento provisional predeterminado que se deshabilitará, para las consultas con un destino de salida que no requiera almacenamiento provisional (es decir, Fabric Lakehouse y Azure SQL Database).
El comportamiento de almacenamiento provisional se puede configurar manualmente por consulta mediante el panel Configuración de consulta o el menú contextual de consulta en el panel Consultas.
Compatibilidad con la canalización de datos para Azure HDInsight
Enviado (Q2 2024)
Tipo de versión: disponibilidad general
HDInsight es el servicio PaaS de Azure para Hadoop que permite a los desarrolladores crear soluciones de macrodatos muy eficaces en la nube. La nueva actividad de canalización de HDI habilitará las actividades de trabajo de HDInsights dentro de las canalizaciones de datos de Data Factory similares a la funcationalidad existente que ha enhoyado durante años en las canalizaciones de ADF y Synapse. Ahora hemos incorporado esta funcionalidad directamente a canalizaciones de datos de Fabric.
Nuevos conectores para la actividad de copia
Enviado (Q2 2024)
Tipo de versión: versión preliminar pública
Se agregarán nuevos conectores para que actividad de copia permita al cliente ingerir desde los siguientes orígenes, a la vez que se aprovecha la canalización de datos: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Trabajo de Apache Airflow: compilación de canalizaciones de datos con tecnología de Apache Airflow
Enviado (Q2 2024)
Tipo de versión: versión preliminar pública
El trabajo de Apache Airflow (conocido anteriormente como flujos de trabajo de datos) se basa en Apache Airflow y ofrece un entorno de tiempo de ejecución integrado de Apache Airflow, lo que le permite crear, ejecutar y programar DAG de Python con facilidad.
Administración de identidades del origen de datos (SPN)
Enviado (Q2 2024)
Tipo de versión: disponibilidad general
Entidad de servicio: para acceder a los recursos protegidos por un inquilino de Azure AD, la entidad que requiere acceso debe representarse mediante una entidad de seguridad. Podrá conectarse a los orígenes de datos con la entidad de servicio.
Integración de Git de Data Factory para canalizaciones de datos
Enviado (Q1 2024)
Tipo de versión: versión preliminar pública
Puede conectarse al repositorio de Git para desarrollar canalizaciones de datos de forma colaborativa. La integración de canalizaciones de datos con la funcionalidad Administración del ciclo de vida de aplicaciones (ALM) de la plataforma Fabric permite el control de versiones, la bifurcación, las confirmaciones y las solicitudes de incorporación de cambios.
Mejoras en los destinos de salida en Dataflow Gen2 (esquema de consulta)
Enviado (Q1 2024)
Tipo de versión: versión preliminar pública
Estamos mejorando los destinos de salida en Dataflow Gen2 con las siguientes funcionalidades muy solicitadas:
- Capacidad de controlar los cambios en el esquema de consulta después de configurar un destino de salida.
- Configuración de destino predeterminada para acelerar la creación de flujos de datos.
Para más información, consulte Destinos de datos de Dataflow Gen2 y configuración administrada.
Obtención de mejoras en la experiencia de datos(Examinar recursos de Azure)
Enviado (Q1 2024)
Tipo de versión: versión preliminar pública
Examinar los recursos de Azure proporciona una navegación sin problemas para examinar los recursos de Azure. Puede navegar fácilmente por las suscripciones de Azure y conectarse a los orígenes de datos a través de una interfaz de usuario intuitiva. Le ayuda a encontrar y conectarse rápidamente a los datos que necesita.
Compatibilidad con la puerta de enlace de datos local (OPDG) agregada a las canalizaciones de datos
Enviado (Q1 2024)
Tipo de versión: versión preliminar pública
Esta característica permite que las canalizaciones de datos usen puertas de enlace de datos de Fabric para acceder a los datos locales y detrás de una red virtual. Para los usuarios que usan entornos de ejecución de integración autohospedados (SHIR), podrán moverse a puertas de enlace de datos locales en Fabric.
Compatibilidad con copia rápida en Dataflow Gen2
Enviado (Q1 2024)
Tipo de versión: versión preliminar pública
Estamos agregando compatibilidad con la ingesta de datos a gran escala directamente dentro de la experiencia de Dataflow Gen2, mediante la funcionalidad de la actividad de copia de canalizaciones. Esto admite orígenes como azure SQL Database, CSV y archivos Parquet en Azure Data Lake Storage y Blob Storage.
Esta mejora escala considerablemente la capacidad de procesamiento de datos de Dataflow Gen2, lo que proporciona funcionalidades elT a gran escala (extract-load-transform).
Cancelación de la compatibilidad con la actualización en Dataflow Gen2
Enviado (Q4 2023)
Tipo de versión: versión preliminar pública
Estamos agregando compatibilidad para cancelar las actualizaciones de Dataflow Gen2 en curso desde la vista de elementos del área de trabajo.