Novidades e planos para o Data Factory no Microsoft Fabric
Importante
Os planos de lançamento descrevem funcionalidades que podem ou não ter sido lançadas ainda. Os prazos de entrega e a funcionalidade projetada podem mudar ou podem não ser enviados. Consulte a política da Microsoft para obter mais informações.
O Data Factory no Microsoft Fabric combina integração de dados de cidadãos e recursos de integração de dados profissionais em uma única e moderna experiência de integração de dados. Ele fornece conectividade para mais de 100 bancos de dados relacionais e não relacionais, lakehouses, data warehouses, interfaces genéricas como APIs REST, OData e muito mais.
Fluxos de dados: o Dataflow Gen2 permite que você execute transformações de dados em grande escala e dá suporte a vários destinos de saída que gravam no Banco de Dados SQL do Azure, Lakehouse, Data Warehouse e muito mais. O editor de fluxos de dados oferece mais de 300 transformações, incluindo opções baseadas em IA, e permite transformar dados facilmente com melhor flexibilidade do que qualquer outra ferramenta. Quer esteja a extrair dados de uma fonte de dados não estruturada, como uma página Web, ou a reformular uma tabela existente no editor do Power Query, pode aplicar facilmente a Extração de Dados por Exemplo do Power Query, que utiliza inteligência artificial (IA) e simplifica o processo.
Pipelines de dados: os pipelines de dados oferecem a capacidade de criar fluxos de trabalho versáteis de orquestração de dados que reúnem tarefas como extração de dados, carregamento em armazenamentos de dados preferidos, execução de bloco de anotações, execução de script SQL e muito mais. Você pode criar rapidamente poderosos pipelines de dados orientados por metadados que automatizam tarefas repetitivas. Por exemplo, carregar e extrair dados de tabelas diferentes em um banco de dados, iterar por vários contêineres no Armazenamento de Blobs do Azure e muito mais. Além disso, com pipelines de dados, você pode acessar os dados do Microsoft 365, usando o conector MGDC (Microsoft Graph Data Connection).
Trabalho de cópia: o trabalho de cópia simplifica a experiência de ingestão de dados com um processo simplificado e fácil de usar, movendo dados em escala de petabytes de qualquer origem para qualquer destino. Você pode copiar dados com vários estilos de entrega de dados, incluindo cópia em lote, cópia incremental e muito mais.
Trabalho do Apache Airflow: o trabalho do Apache Airflow é a próxima geração do Gerenciador de Orquestração de Fluxo de Trabalho do Azure Data Factory. É uma maneira simples e eficiente de criar e gerenciar trabalhos de orquestração do Apache Airflow, permitindo que você execute Gráficos Acíclicos Direcionados (DAGs) em escala com facilidade. O trabalho do Apache Airflow permite que você tenha uma experiência moderna de integração de dados para ingerir, preparar, transformar e orquestrar dados de um rico conjunto de fontes de dados usando código.
Espelhamento de banco de dados: O espelhamento de banco de dados na malha é uma solução de baixo custo e baixa latência, projetada com padrões abertos (por exemplo, formato de tabela Delta Lake). Ele permite que você replique dados e metadados de vários sistemas rapidamente. Usando o espelhamento de banco de dados, você pode replicar continuamente seu conjunto de dados no Microsoft Fabric OneLake para análise. Com uma experiência altamente integrada e fácil de usar, agora você pode simplificar como começar com suas necessidades de análise.
Para saber mais, consulte a documentação.
Áreas de investimento
Nos próximos meses, o Data Factory no Microsoft Fabric expandirá suas opções de conectividade e continuará a adicionar à rica biblioteca de transformações e atividades de pipeline de dados. Além disso, ele permite que você execute replicação de dados em tempo real e de alto desempenho a partir de bancos de dados operacionais e traga esses dados para o lago para análise.
Suporte a CI/CD de fluxo de dados Gen2 e APIs públicas
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
Os recursos do Dataflow Gen2 serão aprimorados para oferecer suporte aos seguintes recursos no Fabric, incluindo:
- Ser capaz de incluir itens Dataflow Gen2 em pipelines de implantação de ALM.
- Ser capaz de aproveitar itens do Dataflow Gen2 com recursos de controle de origem (integração Git).
- APIs CRUDLE públicas para itens Dataflow Gen2.
Esses são recursos altamente solicitados por muitos clientes, e estamos entusiasmados em disponibilizá-los como um recurso de visualização.
Tabelas e partições de atualização de modelo semântico
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
Os usuários do pipeline estão muito entusiasmados com nossa atividade muito popular do pipeline de Atualização do Modelo Semântico. Uma solicitação comum tem sido melhorar seu pipeline de processamento ELT atualizando tabelas e partições específicas em seus modelos. Agora habilitamos esse recurso, tornando a atividade de pipeline a maneira mais eficaz de atualizar seus modelos semânticos de malha!
Importação e exportação de pipeline do Fabric Data Factory
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de versão: Disponibilidade geral
Como desenvolvedor de pipeline do Data Factory, muitas vezes você desejará exportar sua definição de pipeline para compartilhá-la com outros desenvolvedores ou reutilizá-la em outros espaços de trabalho. Agora adicionamos a capacidade de exportar e importar seus pipelines do Data Factory do seu espaço de trabalho do Fabric. Esse poderoso recurso permitirá ainda mais recursos colaborativos e será inestimável ao solucionar problemas de seus pipelines com nossas equipes de suporte.
Copiloto para Data Factory (pipeline de dados)
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
O Copilot for Data Factory (pipeline de dados) permite que os clientes criem pipelines de dados usando linguagem natural e fornece orientação para solução de problemas.
Espelhamento para o Banco de Dados SQL do Azure
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de versão: Disponibilidade geral
O espelhamento fornece uma experiência perfeita sem ETL para integrar seus dados existentes do Banco de Dados SQL do Azure com o restante dos seus dados no Microsoft Fabric. Você pode replicar continuamente seus dados do Banco de Dados SQL do Azure diretamente no Fabric OneLake quase em tempo real, sem qualquer efeito no desempenho de suas cargas de trabalho transacionais.
Saiba mais sobre o espelhamento no Microsoft Fabric
Espelhamento aberto
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
O Open Mirroring é um recurso poderoso que aprimora a extensibilidade do Fabric, permitindo que qualquer aplicativo ou provedor de dados traga seu patrimônio de dados diretamente para o OneLake com o mínimo de esforço. Ao permitir que provedores de dados e aplicativos gravem dados de alteração diretamente em um banco de dados espelhado no Fabric, o Open Mirroring simplifica o tratamento de alterações de dados complexas, garantindo que todos os dados espelhados estejam continuamente atualizados e prontos para análise.
Suporte a APIs públicas de pipelines de dados SPN
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
Para tornar o uso de APIs REST de pipeline no Fabric muito mais fácil e seguro, habilitaremos o suporte SPN (entidade de serviço) para APIs públicas.
Suporte de pipeline de dados para variáveis do Fabric Workspace
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Lançamento: Pré-visualização pública
Ao implementar o CICD em seus ambientes de pipeline do Fabric Data Factory, é muito importante atualizar os valores de dev para test para prod, etc. Usando variáveis dentro do Fabric, você pode substituir valores entre ambientes e também compartilhar valores entre pipelines semelhantes aos parâmetros globais do ADF.
Atualização automática do gateway de dados local
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O recurso de atualização automática do gateway de dados local garante que o gateway sempre execute a versão mais recente, fornecendo funcionalidade aprimorada, atualizações de segurança e novos recursos sem intervenção manual. Esse recurso simplifica o gerenciamento do gateway, baixando e instalando automaticamente as atualizações à medida que elas ficam disponíveis.
Suporte de pipeline de dados para gateways VNET
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O gateway de dados VNET dará suporte ao Pipeline de Dados de Malha, incluindo atividade de cópia de pipeline e outras atividades de pipeline. Os clientes poderão se conectar com segurança às suas fontes de dados em pipeline via gateway de dados VNET.
Destino de saída Gen2 do fluxo de dados para arquivos do SharePoint
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Depois de limpar e preparar dados com o Dataflow Gen 2, esse recurso permite selecionar arquivos do SharePoint como seu destino de dados. Esse recurso facilita a exportação de dados transformados em um arquivo CSV e o armazenamento no Microsoft SharePoint para ser disponibilizado a todos com permissão para o site.
Suporte de pipeline de dados para gatilhos de janela de tombamento
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
O pipeline de agendamento é executado usando janelas de tempo que não são sobrepostas e podem ser "reproduzidas" é um recurso muito importante em pipelines que muitos usuários do ADF gostaram de usar. Estamos super entusiasmados em trazer esse recurso de janela de tombo para o agendamento de pipeline para o Fabric Data Factory.
Item do Azure Data Factory
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
Estamos super entusiasmados em anunciar a disponibilidade geral do item Azure Data Factory no Fabric. Com esse novo recurso, os usuários existentes do ADF podem disponibilizar rápida e facilmente suas fábricas de dados do Azure para seu espaço de trabalho de malha. Agora você pode gerenciar, editar e invocar seus pipelines do ADF diretamente do Fabric!
Suporte à atividade de cópia do pipeline de dados para fontes adicionais
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
Estamos expandindo o suporte para mais conectores de origem na atividade de cópia, permitindo que os clientes copiem dados diretamente de uma ampla variedade de fontes, incluindo Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (incluído) e muito mais.
Execução paralelizada de fluxos de dados Gen 2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
"Os usuários querem uma maneira flexível de definir a lógica de suas transformações Dataflow Gen2 e paralelizar a execução com diferentes argumentos. Hoje eles precisam criar vários fluxos de dados ou várias consultas dentro de seu único fluxo de dados para ter uma lógica que possa ser reutilizada com diferentes argumentos.
Como parte desse aprimoramento, habilitaremos maneiras de os usuários definirem um loop ""foreach"" para todo o item de fluxo de dados orientado a partir de uma consulta autônoma que atua como a lista de valores de parâmetros para iterar e conduzir essa abordagem conteinerizada para execução paralelizada e dinâmica."
Gerenciamento de identidade da fonte de dados (Azure Key Vault)
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Suporte para o Azure Key Vault - Você pode armazenar suas chaves e segredos no Azure Key Vault e conectar-se a ele. Desta forma, pode gerir as suas chaves num único local.
Espelhamento para CosmosDB
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
O espelhamento fornece uma experiência perfeita sem ETL para integrar seus dados existentes do Azure Cosmos DB com o restante dos seus dados no Microsoft Fabric. Você pode replicar continuamente seus dados do Azure Cosmos DB diretamente no Fabric OneLake quase em tempo real, sem qualquer efeito no desempenho de suas cargas de trabalho transacionais.
Suporte a CI/CD de fluxo de dados Gen2 e APIs públicas
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
Os itens do Dataflow Gen2 darão suporte aos recursos de CI/CD na malha, incluindo controle do código-fonte (integração Git), bem como pipelines de implantação ALM. Além disso, os clientes poderão interagir programaticamente com itens Dataflow Gen2 no Fabric por meio das APIs REST do Fabric, fornecendo suporte para operações CRUDLE sobre itens Dataflow Gen2.
Suporte a SPN de APIs públicas Gen2 de fluxo de dados
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Os itens do Dataflow Gen2 serão suportados por meio de APIs REST de malha com suporte à autenticação da entidade de serviço.
Atualização incremental do fluxo de dados Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
No final de setembro de 2024, lançamos o Dataflow Gen2 Incremental Refresh como um recurso de visualização pública. Continuaremos monitorando o feedback dos clientes e aprimorando esse recurso até sua disponibilidade geral, planejada para o final de Q1CY2025.
Suporte de atualização incremental do Dataflow Gen2 para o destino Lakehouse
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
A Atualização Incremental do Dataflow Gen2 otimiza a execução do fluxo de dados para recuperar apenas os dados mais recentes alterados nas fontes de dados do seu fluxo de dados, com base em uma coluna de partição datetime. Isso garante que os dados possam ser carregados incrementalmente no OneLake para transformações downstream ou saída para um destino de saída de fluxo de dados.
Como parte desse aprimoramento, forneceremos suporte direto para Atualização Incremental para saída de dados diretamente em tabelas do Fabric Lakehouse.
Parametrização do Dataflow Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Os usuários estão acostumados a executar pipelines orientados por metadados, onde podem injetar variáveis ou parâmetros em diferentes atividades de um pipeline e, assim, executar as coisas de uma maneira mais dinâmica: criar uma vez, reutilizar várias vezes.
Como parte desse aprimoramento, faremos com que os fluxos de dados executados por meio de um Pipeline de Dados na Malha possam ser fornecidos com valores de parâmetros para seus parâmetros de fluxo de dados existentes.
Suporte a Dataflow Gen2 para Salvar como novo item
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Os clientes geralmente gostariam de recriar um fluxo de dados existente como um novo fluxo de dados. Hoje, para fazer isso, eles precisam criar o novo item Dataflow Gen2 do zero e copiar e colar suas consultas existentes ou aproveitar os recursos de modelo Exportar/Importar Power Query. Isso, no entanto, não é apenas inconveniente devido a etapas desnecessárias, mas também não carrega configurações adicionais de fluxo de dados, como Atualização Agendada e outras propriedades do item (nome, descrição, rótulo de sensibilidade, etc.).
Como parte desse aprimoramento, forneceremos um gesto rápido ""Salvar como"" dentro da experiência de edição do Dataflow Gen2, permitindo que os usuários salvem seu fluxo de dados existente como um novo fluxo de dados.
Suporte a Dataflow Gen1 para o novo item Save As Dataflow Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Os clientes geralmente gostariam de recriar um item existente do Dataflow Gen1 como um novo item do Dataflow Gen2. Hoje, para fazer isso, eles precisam criar o novo item Dataflow Gen2 do zero e copiar e colar suas consultas existentes ou aproveitar os recursos de modelo Exportar/Importar Power Query. Isso, no entanto, não é apenas inconveniente devido a etapas desnecessárias, mas também não carrega configurações adicionais de fluxo de dados, como Atualização Agendada e outras propriedades do item (nome, descrição, rótulo de sensibilidade, etc.).
Como parte desse aprimoramento, forneceremos um gesto rápido ""Salvar como"" dentro da experiência de edição do Dataflow Gen1, permitindo que os usuários salvem seu item existente do Dataflow Gen1 como um novo item do Dataflow Gen2.
Trabalho de cópia - Cópia incremental sem que os usuários precisem especificar colunas de marca d'água
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Introduziremos o recurso nativo CDC (Change Data Capture) no Copy Job para conectores de chave. Isso significa que a cópia incremental detetará automaticamente as alterações — sem a necessidade de os clientes especificarem colunas incrementais.
Copiar trabalho
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de versão: Disponibilidade geral
O Copy Job no Data Factory eleva a experiência de ingestão de dados a um processo mais simplificado e fácil de usar, de qualquer origem para qualquer destino. Agora, copiar seus dados é mais fácil do que nunca. O trabalho de cópia suporta vários estilos de entrega de dados, incluindo cópia em lote e cópia incremental, oferecendo a flexibilidade para atender às suas necessidades específicas.
Suporte a CI/CD de trabalho de cópia
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Os itens de trabalho de cópia darão suporte aos recursos de CI/CD na malha, incluindo controle de origem (integração Git), bem como pipelines de implantação de ALM.
Suporte a APIs públicas de trabalho de cópia
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Os clientes poderão interagir programaticamente com itens de trabalho de cópia no Fabric por meio das APIs públicas de malha, fornecendo suporte para operações CRUDLE em itens de trabalho de cópia
Suporte a Dataflow Gen2 para fontes adicionais do Fast Copy
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Estamos expandindo o Fast Copy no Dataflow Gen2 para oferecer suporte a mais conectores de origem, permitindo que os clientes carreguem dados com maior desempenho. Os novos conectores incluirão arquivos Fabric Lakehouse, Google BigQuery, Amazon Redshift e muito mais, permitindo uma integração de dados mais rápida e eficiente.
Copiar suporte de trabalho para fontes adicionais
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Estamos expandindo o suporte para mais conectores de origem no Copy Job, permitindo que os clientes copiem dados sem problemas de uma ampla gama de fontes. Ao mesmo tempo, manteremos a experiência simplificada enquanto oferecemos diversos padrões de cópia, incluindo cópia completa e cópia incremental.
Suporte de pipeline de dados para gatilhos de eventos de armazenamento OneLake
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Um mecanismo popular usado para invocar pipelines no Fabric Data Factory é usar o gatilho de arquivo. Quando eventos de arquivo (ou seja, chegada de arquivo, exclusão de arquivo ...) são detetados no armazenamento de Blob ou ADLS Gen2, seu pipeline do Fabric Data Factory será invocado. Agora, adicionamos eventos de arquivo OneLake aos tipos de evento de gatilho na malha.
Permitindo que os clientes parametrizem suas conexões
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
As conexões fornecem uma estrutura comum para definir conectividade e autenticação para seus armazenamentos de dados. Essas conexões podem ser compartilhadas entre diferentes itens. Com o suporte à parametrização, você poderá criar pipelines, notebooks, fluxos de dados e outros tipos de itens complexos e reutilizáveis.
Suporte de pipeline de dados para DBT
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
DBT CLI Orchestration (Data Build Tool): Incorpora a ferramenta de compilação de dados (dbt) para fluxos de trabalho de transformação de dados.
Suporte a Identidades Gerenciadas atribuídas pelo usuário no Connections
Cronograma estimado de lançamento: 2º trimestre de 2025
Tipo de Lançamento: Pré-visualização pública
Esse aprimoramento para dar suporte a identidades gerenciadas atribuídas pelo usuário no Connections fornece um valor significativo, oferecendo um método de autenticação mais seguro e flexível para acessar recursos de dados. Ele evita credenciais de codificação, simplifica o gerenciamento eliminando a necessidade de alternar segredos, garante a conformidade com as políticas de segurança, integra-se perfeitamente aos serviços do Azure e oferece suporte à escalabilidade em conexões, permitindo que várias instâncias compartilhem a mesma identidade.
Recurso(s) enviado(s)
Azure Data Factory no Fabric
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Traga seu Azure Data Factory (ADF) existente para seu espaço de trabalho do Fabric! Este é um novo recurso de visualização que permite que você se conecte às fábricas do ADF existentes a partir do espaço de trabalho do Fabric.
Agora você poderá gerenciar totalmente suas fábricas do ADF diretamente da interface do trabalho do Fabric! Depois que o ADF estiver vinculado ao espaço de trabalho do Fabric, você poderá acionar, executar e monitorar seus pipelines como faz no ADF, mas diretamente dentro do Fabric.
Suporte para invocar pipelines de dados entre espaços de trabalho
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Atualização da atividade Invoke Pipelines: estamos habilitando algumas atualizações novas e interessantes para a atividade Invoke Pipeline. Em resposta às solicitações esmagadoras de clientes e comunidades, estamos permitindo a execução de pipelines de dados em espaços de trabalho. Agora você poderá invocar pipelines de outros espaços de trabalho que você tem acesso para executar. Isso permitirá padrões de fluxo de trabalho de dados muito empolgantes que podem utilizar a colaboração de suas equipes de engenharia de dados e integração em espaços de trabalho e entre equipes funcionais.
Suporte a gateway de dados local (OPDG) adicionado a pipelines de dados
Enviado (3º trimestre de 2024)
Tipo de versão: Disponibilidade geral
Esse recurso permite que os pipelines de dados usem gateways de dados de malha para acessar dados locais e atrás de uma rede virtual. Para usuários que usam tempos de execução de integração auto-hospedados (SHIR), eles poderão migrar para gateways de dados locais na malha.
Copiar trabalho
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
O Copy Job simplifica a experiência dos clientes que precisam ingerir dados, sem a necessidade de criar um fluxo de dados ou um pipeline de dados. O Copy Job suporta cópia completa e incremental de qualquer fonte de dados para qualquer destino de dados. Inscreva-se no Private Preview agora.
Espelhamento para flocos de neve
Enviado (3º trimestre de 2024)
Tipo de versão: Disponibilidade geral
O espelhamento fornece uma experiência perfeita sem ETL para integrar seus dados existentes do Snowflake com o restante dos seus dados no Microsoft Fabric. Você pode replicar continuamente seus dados do Snowflake diretamente no Fabric OneLake quase em tempo real, sem qualquer efeito no desempenho de suas cargas de trabalho transacionais.
Notificações por e-mail melhoradas para falhas de atualização
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
As notificações por e-mail permitem que os criadores do Dataflow Gen2 monitorem os resultados (sucesso/falha) da operação de atualização de um fluxo de dados.
Suporte a cópia rápida no Dataflow Gen2
Enviado (3º trimestre de 2024)
Tipo de versão: Disponibilidade geral
Estamos adicionando suporte para ingestão de dados em larga escala diretamente na experiência Dataflow Gen2, utilizando o recurso Copy Activity de pipelines. Esse aprimoramento aumenta significativamente a capacidade de processamento de dados do Dataflow Gen2, fornecendo recursos ELT (Extract-Load-Transform) de alta escala.
Suporte a atualização incremental no Dataflow Gen2
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Estamos adicionando suporte a atualizações incrementais no Dataflow Gen2. Esta funcionalidade permite-lhe extrair dados incrementais de origens de dados, aplicar transformações do Power Query e carregar em vários destinos de saída.
Gerenciamento de identidade da fonte de dados (Identidade gerenciada)
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Isso permite que a identidade gerenciada seja configurada em um nível de espaço de trabalho. Você pode usar as identidades gerenciadas do Fabric para se conectar à sua fonte de dados com segurança.
Suporte de pipeline de dados para trabalhos do Azure Databricks
Enviado (3º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Estamos atualizando os pipelines de dados do Data Factory As atividades do Azure Databricks agora usam a API de trabalhos mais recente, permitindo recursos de fluxo de trabalho empolgantes, como a execução de trabalhos DLT.
Copiloto para Data Factory (Dataflow)
Enviado (3º trimestre de 2024)
Tipo de versão: Disponibilidade geral
O Copilot for Data Factory (Dataflow) permite que os clientes expressem suas necessidades usando linguagem natural ao criar soluções de integração de dados com o Dataflows Gen2.
Suporte de pipeline de dados para SparkJobDefinition
Enviado (Q2 2024)
Tipo de versão: Disponibilidade geral
Agora você pode executar seu código Spark, incluindo arquivos JAR, diretamente de uma atividade de pipeline. Basta apontar para o código do Spark e o pipeline executará o trabalho no cluster do Spark na malha. Essa nova atividade permite padrões de fluxo de trabalho de dados empolgantes que aproveitam o poder do mecanismo Spark do Fabric enquanto incluem o fluxo de controle do Data Factory e os recursos de fluxo de dados no mesmo pipeline que seus trabalhos do Spark.
Suporte a pipeline de dados para gatilhos controlados por eventos
Enviado (Q2 2024)
Tipo de Lançamento: Pré-visualização pública
Um caso de uso comum para invocar pipelines de dados do Data Factory é acionar o pipeline em eventos de arquivo, como chegada e exclusão de arquivos. Para clientes provenientes do ADF ou Synapse to Fabric, o uso de eventos de armazenamento ADLS/Blog é muito comum como uma maneira de sinalizar para uma nova execução de pipeline ou capturar os nomes dos arquivos criados. Os gatilhos no Fabric Data Factory aproveitam os recursos da plataforma Fabric, incluindo EventStreams e gatilhos Reflex. Dentro da tela de design do pipeline do Fabric Data Factory, você terá um botão Trigger que pode ser pressionado para criar um gatilho Reflex para seu pipeline ou pode criar o gatilho diretamente da experiência do Data Activator.
Padrões de preparo para o destino de saída do Dataflow Gen 2
Enviado (Q2 2024)
Tipo de Lançamento: Pré-visualização pública
O Dataflow Gen2 fornece recursos para ingerir dados de uma ampla variedade de fontes de dados no Fabric OneLake. Ao preparar esses dados, eles podem ser transformados em alta escala aproveitando o mecanismo High-Scale Dataflows Gen2 (baseado na computação SQL Fabric Lakehouse/Warehouse).
O comportamento padrão para Dataflows Gen2 é preparar dados no OneLake para permitir transformações de dados de alta escala. Embora isso funcione muito bem para cenários de alta escala, não funciona tão bem para cenários que envolvem pequenas quantidades de dados sendo ingeridos, dado que introduz um salto extra (preparação) para os dados antes de serem finalmente carregados no destino de saída do fluxo de dados.
Com os aprimoramentos planejados, estamos ajustando o comportamento de preparo padrão a ser desabilitado para consultas com um destino de saída que não exija preparo (ou seja, Fabric Lakehouse e Banco de Dados SQL do Azure).
O comportamento de preparo pode ser configurado manualmente por consulta por meio do painel Configurações de Consulta ou do menu contextual de consulta no painel Consultas.
Suporte de pipeline de dados para o Azure HDInsight
Enviado (Q2 2024)
Tipo de versão: Disponibilidade geral
O HDInsight é o serviço PaaS do Azure para Hadoop que permite que os desenvolvedores criem soluções de big data muito poderosas na nuvem. A nova atividade de pipeline HDI permitirá atividades de trabalho do HDInsights dentro de seus pipelines de dados do Data Factory semelhantes à funcionalidade existente que você desenvolveu por anos nos pipelines ADF e Synapse. Agora, trouxemos esse recurso diretamente para os pipelines de dados do Fabric.
Novos conectores para atividade de cópia
Enviado (Q2 2024)
Tipo de Lançamento: Pré-visualização pública
Novos conectores serão adicionados para a atividade de cópia para capacitar o cliente a ingerir a partir das seguintes fontes, aproveitando o pipeline de dados: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Trabalho do Apache Airflow: Crie pipelines de dados alimentados pelo Apache Airflow
Enviado (Q2 2024)
Tipo de Lançamento: Pré-visualização pública
O trabalho do Apache Airflow (anteriormente referido como fluxos de trabalho de dados) é alimentado pelo Apache Airflow e oferece um ambiente de tempo de execução integrado do Apache Airflow, permitindo que você crie, execute e agende DAGs Python com facilidade.
Gerenciamento de identidade da fonte de dados (SPN)
Enviado (Q2 2024)
Tipo de versão: Disponibilidade geral
Entidade de serviço - Para acessar recursos protegidos por um locatário do Azure AD, a entidade que requer acesso deve ser representada por uma entidade de segurança. Você poderá se conectar às suas fontes de dados com a entidade de serviço.
Integração do Data Factory Git para pipelines de dados
Enviado (1º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Você pode se conectar ao seu repositório Git para desenvolver pipelines de dados de forma colaborativa. A integração de pipelines de dados com o recurso de gerenciamento do ciclo de vida de aplicativos (ALM) da plataforma Fabric permite controle de versão, ramificação, confirmações e solicitações pull.
Aprimoramentos para destinos de saída no Dataflow Gen2 (esquema de consulta)
Enviado (1º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Estamos aprimorando os destinos de saída no Dataflow Gen2 com os seguintes recursos altamente solicitados:
- Capacidade de lidar com alterações de esquema de consulta após configurar um destino de saída.
- Configurações de destino padrão para acelerar a criação de fluxos de dados.
Para saber mais, consulte Destinos de dados do Dataflow Gen2 e configurações gerenciadas
Obter melhorias na experiência de dados(Procurar Recursos do Azure)
Enviado (1º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Navegar pelos recursos do Azure fornece navegação contínua para navegar pelos recursos do Azure. Você pode navegar facilmente em suas assinaturas do Azure e conectar-se às suas fontes de dados por meio de uma interface de usuário intuitiva. Ajuda-o a encontrar e a ligar-se rapidamente aos dados de que necessita.
Suporte a gateway de dados local (OPDG) adicionado a pipelines de dados
Enviado (1º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Esse recurso permite que os pipelines de dados usem gateways de dados de malha para acessar dados locais e atrás de uma rede virtual. Para usuários que usam tempos de execução de integração auto-hospedados (SHIR), eles poderão migrar para gateways de dados locais na malha.
Suporte a cópia rápida no Dataflow Gen2
Enviado (1º trimestre de 2024)
Tipo de Lançamento: Pré-visualização pública
Estamos adicionando suporte para ingestão de dados em larga escala diretamente na experiência Dataflow Gen2, utilizando o recurso Copy Activity de pipelines. Isso dá suporte a fontes como bancos de dados SQL do Azure, CSV e arquivos Parquet no Armazenamento do Azure Data Lake e no Armazenamento de Blob.
Esse aprimoramento aumenta significativamente a capacidade de processamento de dados do Dataflow Gen2, fornecendo recursos ELT (Extract-Load-Transform) de alta escala.
Cancelar suporte de atualização no Dataflow Gen2
Enviado (Q4 2023)
Tipo de Lançamento: Pré-visualização pública
Estamos adicionando suporte para cancelar atualizações contínuas do Dataflow Gen2 a partir da visualização de itens do espaço de trabalho.