Novidades e planos para o Data Factory no Microsoft Fabric
Importante
Os planos de lançamento descrevem a funcionalidade que pode ou não ter sido lançada ainda. Os prazos de entrega e a funcionalidade projetada podem mudar ou não podem ser enviados. Consulte a política da Microsoft para obter mais informações.
O Data Factory no Microsoft Fabric combina recursos de integração de dados do cidadão e integração de dados profissionais em uma única experiência de integração de dados moderna. Ele fornece conectividade a mais de 100 bancos de dados relacionais e não relacionais, lakehouses, data warehouses, interfaces genéricas como APIs REST, OData e muito mais.
Fluxos de dados: o Dataflow Gen2 permite que você execute transformações de dados em grande escala e dá suporte a vários destinos de saída que gravam no Banco de Dados SQL do Azure, Lakehouse, Data Warehouse e muito mais. O editor de fluxos de dados oferece mais de 300 transformações, incluindo opções baseadas em IA, e permite transformar dados facilmente com melhor flexibilidade do que qualquer outra ferramenta. Se você estiver extraindo dados de uma fonte de dados não estruturada, como uma página da Web, ou remodelando uma tabela existente no editor do Power Query, poderá aplicar facilmente a Extração de Dados por Exemplo do Power Query, que usa inteligência artificial (IA) e simplifica o processo.
Pipelines de dados: os pipelines de dados oferecem a capacidade de criar fluxos de trabalho versáteis de orquestração de dados que reúnem tarefas como extração de dados, carregamento em armazenamentos de dados preferenciais, execução de notebook, execução de script SQL e muito mais. Você pode criar rapidamente pipelines de dados avançados orientados por metadados que automatizam tarefas repetitivas. Por exemplo, carregar e extrair dados de diferentes tabelas em um banco de dados, iterar por meio de vários contêineres no Armazenamento de Blobs do Azure e muito mais. Além disso, com pipelines de dados, você pode acessar os dados do Microsoft 365, usando o conector MGDC (Conexão de Dados do Microsoft Graph).
Trabalho de cópia: o trabalho de cópia simplifica a experiência de ingestão de dados com um processo simplificado e fácil de usar, movendo dados em escala de petabytes de qualquer origem para qualquer destino. Você pode copiar dados com vários estilos de entrega de dados, incluindo cópia em lote, cópia incremental e muito mais.
Trabalho do Apache Airflow: o trabalho do Apache Airflow é a próxima geração do Gerenciador de Orquestração de Fluxo de Trabalho do Azure Data Factory. É uma maneira simples e eficiente de criar e gerenciar trabalhos de orquestração do Apache Airflow, permitindo que você execute gráficos acíclicos direcionados (DAGs) em escala com facilidade. O trabalho do Apache Airflow oferece uma experiência moderna de integração de dados para ingerir, preparar, transformar e orquestrar dados de um rico conjunto de fontes de dados usando código.
Espelhamento de banco de dados: O espelhamento de banco de dados no Fabric é uma solução de baixo custo e baixa latência, projetada com padrões abertos (por exemplo, formato de tabela Delta Lake). Ele permite que você replique dados e metadados de vários sistemas rapidamente. Usando o espelhamento de banco de dados, você pode replicar continuamente seu patrimônio de dados no Microsoft Fabric OneLake para análise. Com uma experiência altamente integrada e fácil de usar, agora você pode simplificar como começar com suas necessidades de análise.
Para saber mais, confira a documentação.
Regiões de investimento
Nos próximos meses, o Data Factory no Microsoft Fabric expandirá suas opções de conectividade e continuará a adicionar à rica biblioteca de transformações e atividades de pipeline de dados. Além disso, ele permite que você execute replicação de dados de alto desempenho em tempo real a partir de bancos de dados operacionais e traga esses dados para o lake para análise.
Suporte a CI/CD e APIs públicas do Dataflow Gen2
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Versão: Visualização Pública
Os recursos do Dataflow Gen2 serão aprimorados para oferecer suporte aos seguintes recursos no Fabric, incluindo:
- Ser capaz de incluir itens do Dataflow Gen2 em pipelines de implantação do ALM.
- Ser capaz de aproveitar os itens do Dataflow Gen2 com recursos de controle do código-fonte (integração do Git).
- APIs CRUDLE públicas para itens do Dataflow Gen2.
Esses são recursos altamente solicitados por muitos clientes e estamos entusiasmados em disponibilizá-los como um recurso de visualização.
Tabelas e partições de atualização do modelo semântico
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Versão: Visualização Pública
Os usuários do pipeline estão muito entusiasmados com nossa atividade de pipeline de atualização de modelo semântico muito popular. Uma pergunta comum tem sido melhorar seu pipeline de processamento ELT atualizando tabelas e partições específicas em seus modelos. Agora habilitamos esse recurso, tornando a atividade de pipeline a maneira mais eficaz de atualizar seus modelos semânticos do Fabric!
Importação e exportação de pipeline do Fabric Data Factory
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de lançamento: Disponibilidade geral
Como desenvolvedor de pipeline do Data Factory, muitas vezes você desejará exportar sua definição de pipeline para compartilhá-la com outros desenvolvedores ou reutilizá-la em outros workspaces. Agora adicionamos a capacidade de exportar e importar seus pipelines do Data Factory do workspace do Fabric. Esse recurso poderoso permitirá ainda mais recursos colaborativos e será inestimável ao solucionar problemas de seus pipelines com nossas equipes de suporte.
Copilot para Data Factory (pipeline de dados)
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Versão: Visualização Pública
O Copilot para Data Factory (pipeline de dados) capacita os clientes a criar pipelines de dados usando linguagem natural e fornece diretrizes de solução de problemas.
Espelhamento para o Banco de Dados SQL do Azure
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de lançamento: Disponibilidade geral
O espelhamento fornece uma experiência perfeita sem ETL para integrar seus dados existentes do Banco de Dados SQL do Azure com o restante dos seus dados no Microsoft Fabric. Você pode replicar continuamente seus dados do Banco de Dados SQL do Azure diretamente no Fabric OneLake quase em tempo real, sem nenhum efeito no desempenho de suas cargas de trabalho transacionais.
Saiba mais sobre o espelhamento no Microsoft Fabric
Espelhamento aberto
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Versão: Visualização Pública
O Open Mirroring é um recurso poderoso que aprimora a extensibilidade do Fabric, permitindo que qualquer aplicativo ou provedor de dados traga seu patrimônio de dados diretamente para o OneLake com o mínimo de esforço. Ao permitir que provedores de dados e aplicativos gravem dados de alteração diretamente em um banco de dados espelhado no Fabric, o Open Mirroring simplifica o tratamento de alterações de dados complexas, garantindo que todos os dados espelhados estejam continuamente atualizados e prontos para análise.
Suporte a SPN de APIs públicas do Data Pipelines
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Versão: Visualização Pública
Para tornar o uso de APIs REST de pipeline no Fabric muito mais fácil e seguro, habilitaremos o suporte a SPN (entidade de serviço) para APIs públicas.
Suporte do Pipeline de Dados para variáveis do Fabric Workspace
Cronograma estimado de lançamento: 4º trimestre de 2024
Tipo de Versão: Visualização Pública
Ao implementar o CICD em seus ambientes de pipeline do Fabric Data Factory, é muito importante atualizar os valores de dev para test para prod, etc. Usando variáveis dentro do Fabric, você pode substituir valores entre ambientes e também compartilhar valores entre pipelines semelhantes aos parâmetros globais do ADF.
Atualização automática do gateway de dados local
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
O recurso de atualização automática do gateway de dados local garante que o gateway sempre execute a versão mais recente, fornecendo funcionalidade aprimorada, atualizações de segurança e novos recursos sem intervenção manual. Esse recurso simplifica o gerenciamento do gateway baixando e instalando automaticamente as atualizações à medida que elas se tornam disponíveis.
Suporte do Pipeline de Dados para gateways VNET
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
O gateway de dados VNET oferecerá suporte ao Fabric Data Pipeline, incluindo a atividade de cópia do pipeline e outras atividades do pipeline. Os clientes poderão se conectar com segurança às suas fontes de dados no pipeline por meio do gateway de dados VNET.
Destino de saída do Dataflow Gen2 para arquivos do SharePoint
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Depois de limpar e preparar dados com o Dataflow Gen 2, esse recurso permite selecionar arquivos do SharePoint como destino de dados. Esse recurso facilita a exportação de dados transformados em um arquivo CSV e o armazenamento no Microsoft SharePoint para serem disponibilizados a todos com permissão para o site.
Suporte do Pipeline de Dados para gatilhos de janela em cascata
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Agendar execuções de pipeline usando janelas de tempo que não são sobrepostas e podem ser "reproduzidas" é um recurso muito importante em pipelines que muitos usuários do ADF gostaram de usar. Estamos muito empolgados em trazer esse recurso de janela em cascata para o agendamento de pipeline para o Fabric Data Factory.
Item do Azure Data Factory
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
Estamos muito animados em anunciar a disponibilidade geral do item do Azure Data Factory no Fabric. Com esse novo recurso, os usuários existentes do ADF podem disponibilizar de forma rápida e fácil suas fábricas de dados do Azure para o workspace do Fabric. Agora você pode gerenciar, editar e invocar seus pipelines do ADF diretamente do Fabric!
Suporte à Atividade de Cópia do Pipeline de Dados para fontes adicionais
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
Estamos expandindo o suporte para mais conectores de origem na atividade de cópia, permitindo que os clientes copiem dados de uma ampla variedade de fontes, incluindo Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (empacotado) e muito mais.
Execução paralelizada de fluxos de dados Gen 2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
"Os usuários querem uma maneira flexível de definir a lógica de suas transformações do Dataflow Gen2 e paralelizar a execução com diferentes argumentos. Hoje, eles precisam criar vários fluxos de dados ou várias consultas em seu único fluxo de dados para ter uma lógica que possa ser reutilizada com diferentes argumentos.
Como parte desse aprimoramento, permitiremos maneiras para os usuários definirem um loop ""foreach"" para todo o item de fluxo de dados orientado a partir de uma consulta autônoma que atua como a lista de valores de parâmetro para iterar e conduzir essa abordagem em contêiner para execução paralelizada e dinâmica."
Gerenciamento de identidade da fonte de dados (Azure Key Vault)
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Suporte para Azure Key Vault – você pode armazenar suas chaves e segredos no Azure Key Vault e se conectar a ele. Dessa forma, você pode gerenciar suas chaves em um único lugar.
Espelhamento para CosmosDB
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
O espelhamento fornece uma experiência perfeita sem ETL para integrar seus dados existentes do Azure Cosmos DB com o restante dos dados no Microsoft Fabric. Você pode replicar continuamente seus dados do Azure Cosmos DB diretamente no Fabric OneLake quase em tempo real, sem qualquer impacto no desempenho de suas cargas de trabalho transacionais.
Suporte a CI/CD e APIs públicas do Dataflow Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
Os itens do Dataflow Gen2 darão suporte a recursos de CI/CD no Fabric, incluindo controle do código-fonte (integração Git), bem como pipelines de implantação do ALM. Além disso, os clientes poderão interagir programaticamente com itens do Dataflow Gen2 no Fabric por meio das APIs REST do Fabric, fornecendo suporte para operações CRUDLE em itens do Dataflow Gen2.
Suporte a SPN de APIs públicas do Dataflow Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Os itens do Dataflow Gen2 terão suporte por meio de APIs REST do Fabric com suporte à autenticação da entidade de serviço.
Atualização incremental do Dataflow Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
No final de setembro de 2024, lançamos a Atualização Incremental do Dataflow Gen2 como um recurso de Visualização Pública. Continuaremos monitorando o feedback dos clientes e aprimorando esse recurso até sua disponibilidade geral, planejada para o final de Q1CY2025.
Suporte à Atualização Incremental do Dataflow Gen2 para o destino do Lakehouse
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
A Atualização Incremental do Dataflow Gen2 otimiza a execução do fluxo de dados para recuperar apenas os dados mais recentes alterados nas fontes de dados do fluxo de dados, com base em uma coluna de partição datetime. Isso garante que os dados possam ser carregados incrementalmente no OneLake para transformações downstream ou saída para um destino de saída de fluxo de dados.
Como parte desse aprimoramento, forneceremos suporte direto para a atualização incremental para gerar dados diretamente nas tabelas do Fabric Lakehouse.
Parametrização do Dataflow Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Os usuários estão acostumados a executar pipelines orientados a metadados onde podem injetar variáveis ou parâmetros em diferentes atividades de um pipeline e, assim, executar as coisas de maneira mais dinâmica: criar uma vez, reutilizar várias vezes.
Como parte desse aprimoramento, faremos com que os fluxos de dados executados por meio de um Pipeline de Dados no Fabric possam ser fornecidos com valores de parâmetro para seus parâmetros de fluxo de dados existentes.
Suporte do Dataflow Gen2 para Salvar como novo item
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Os clientes geralmente gostariam de recriar um fluxo de dados existente como um novo fluxo de dados. Hoje, para fazer isso, eles precisam criar o novo item do Dataflow Gen2 do zero e copiar e colar suas consultas existentes ou aproveitar os recursos de modelo Exportar/Importar Power Query. Isso, no entanto, não é apenas inconveniente devido a etapas desnecessárias, mas também não transfere configurações adicionais de fluxo de dados, como Atualização agendada e outras propriedades do item (nome, descrição, rótulo de confidencialidade etc.).
Como parte desse aprimoramento, forneceremos um gesto rápido de ""Salvar como"" na experiência de edição do Dataflow Gen2, permitindo que os usuários salvem o fluxo de dados existente como um novo fluxo de dados.
Suporte do Dataflow Gen1 para novo item Salvar como Dataflow Gen2
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Os clientes geralmente desejam recriar um item existente do Dataflow Gen1 como um novo item do Dataflow Gen2. Hoje, para fazer isso, eles precisam criar o novo item do Dataflow Gen2 do zero e copiar e colar suas consultas existentes ou aproveitar os recursos de modelo Exportar/Importar Power Query. Isso, no entanto, não é apenas inconveniente devido a etapas desnecessárias, mas também não transfere configurações adicionais de fluxo de dados, como Atualização agendada e outras propriedades do item (nome, descrição, rótulo de confidencialidade etc.).
Como parte desse aprimoramento, forneceremos um gesto rápido de ""Salvar como"" na experiência de edição do Dataflow Gen1, permitindo que os usuários salvem o item existente do Dataflow Gen1 como um novo item do Dataflow Gen2.
Trabalho de cópia - Cópia incremental sem que os usuários precisem especificar colunas de marca d'água
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Apresentaremos o recurso CDC (Change Data Capture) nativo no Trabalho de Cópia para conectores de chave. Isso significa que a cópia incremental detectará automaticamente as alterações, sem necessidade de os clientes especificarem colunas incrementais.
Copiar trabalho
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de lançamento: Disponibilidade geral
O Trabalho de Cópia no Data Factory eleva a experiência de ingestão de dados a um processo mais simplificado e fácil de usar de qualquer origem para qualquer destino. Agora, copiar seus dados é mais fácil do que nunca. O trabalho de cópia oferece suporte a vários estilos de entrega de dados, incluindo cópia em lote e cópia incremental, oferecendo flexibilidade para atender às suas necessidades específicas.
Suporte a CI/CD do trabalho de cópia
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Os itens de trabalho de cópia oferecerão suporte a recursos de CI/CD no Fabric, incluindo controle do código-fonte (integração do Git), bem como pipelines de implantação do ALM.
Suporte a APIs públicas de trabalho de cópia
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Os clientes poderão interagir programaticamente com itens de trabalho de cópia no Fabric por meio das APIs públicas do Fabric, fornecendo suporte para operações CRUDLE em itens de trabalho de cópia
Suporte ao Dataflow Gen2 para fontes adicionais de Cópia Rápida
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Estamos expandindo o Fast Copy no Dataflow Gen2 para oferecer suporte a mais conectores de origem, permitindo que os clientes carreguem dados com maior desempenho. Os novos conectores incluirão arquivos do Fabric Lakehouse, Google BigQuery, Amazon Redshift e muito mais, permitindo uma integração de dados mais rápida e eficiente.
Suporte a trabalhos de cópia para fontes adicionais
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Estamos expandindo o suporte para mais conectores de origem no Trabalho de Cópia, permitindo que os clientes copiem dados de uma ampla variedade de fontes. Ao mesmo tempo, manteremos a experiência simplificada enquanto oferecemos diversos padrões de cópia, incluindo cópia completa e cópia incremental.
Suporte ao Pipeline de Dados para gatilhos de eventos de armazenamento do OneLake
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Um mecanismo popular usado para invocar pipelines no Fabric Data Factory é usar o gatilho de arquivo. Quando eventos de arquivo (ou seja, chegada de arquivo, exclusão de arquivo...) forem detectados no repositório de Blobs ou no ADLS Gen2, o pipeline do Data Factory do Fabric será invocado. Agora adicionamos eventos de arquivo do OneLake aos tipos de evento de gatilho no Fabric.
Permitindo que os clientes parametrizem suas conexões
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
As conexões fornecem uma estrutura comum para definir conectividade e autenticação para seus armazenamentos de dados. Essas conexões podem ser compartilhadas entre diferentes itens. Com o suporte à parametrização, você poderá criar pipelines, notebooks, fluxos de dados e outros tipos de itens complexos e reutilizáveis.
Suporte de pipeline de dados para DBT
Cronograma estimado de lançamento: 1º trimestre de 2025
Tipo de Versão: Visualização Pública
Orquestração da CLI DBT (Ferramenta de Criação de Dados): incorpora a ferramenta de criação de dados (dbt) para fluxos de trabalho de transformação de dados.
Suporte a Identidades Gerenciadas Atribuídas pelo Usuário no Connections
Cronograma de lançamento estimado: 2º trimestre de 2025
Tipo de Versão: Visualização Pública
Esse aprimoramento para suportar identidades gerenciadas atribuídas pelo usuário no Connections fornece valor significativo, oferecendo um método de autenticação mais seguro e flexível para acessar recursos de dados. Ele evita credenciais de codificação, simplifica o gerenciamento eliminando a necessidade de alternar segredos, garante a conformidade com políticas de segurança, integra-se perfeitamente aos serviços do Azure e dá suporte à escalabilidade nas conexões, permitindo que várias instâncias compartilhem a mesma identidade.
Feição(ões) enviada(s)
Azure Data Factory no Fabric
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
Traga seu Azure Data Factory (ADF) existente para seu workspace do Fabric! Este é um novo recurso de visualização que permite que você se conecte às fábricas de ADF existentes a partir do espaço de trabalho do Fabric.
Agora você poderá gerenciar totalmente suas fábricas do ADF diretamente da interface do usuário do espaço de trabalho do Fabric! Depois que o ADF estiver vinculado ao workspace do Fabric, você poderá disparar, executar e monitorar seus pipelines como faz no ADF, mas diretamente dentro do Fabric.
Suporte para invocar pipelines de dados entre workspaces
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
Atualização da atividade Invocar Pipelines: estamos habilitando algumas atualizações novas e empolgantes para a atividade Invocar Pipeline. Em resposta às solicitações esmagadoras dos clientes e da comunidade, estamos habilitando a execução de pipelines de dados em workspaces. Agora você poderá invocar pipelines de outros workspaces que você tem acesso para executar. Isso permitirá padrões de fluxo de trabalho de dados muito interessantes que podem utilizar a colaboração de suas equipes de engenharia e integração de dados entre espaços de trabalho e equipes funcionais.
Suporte ao OPDG (gateway de dados local) adicionado a pipelines de dados
Enviado (3º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
Esse recurso permite que os pipelines de dados usem gateways de dados do Fabric para acessar dados locais e por trás de uma rede virtual. Para usuários que usam SHIR (tempos de execução de integração auto-hospedados), eles poderão migrar para gateways de dados locais no Fabric.
Copiar trabalho
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
O trabalho de cópia simplifica a experiência para clientes que precisam ingerir dados, sem precisar criar um fluxo de dados ou pipeline de dados. O trabalho de cópia dá suporte à cópia completa e incremental de qualquer fonte de dados para qualquer destino de dados. Inscreva-se para a Visualização Privada agora.
Espelhamento para Snowflake
Enviado (3º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
O espelhamento fornece uma experiência perfeita sem ETL para integrar seus dados existentes do Snowflake com o restante de seus dados no Microsoft Fabric. Você pode replicar continuamente seus dados do Snowflake diretamente no Fabric OneLake quase em tempo real, sem nenhum efeito no desempenho de suas cargas de trabalho transacionais.
Notificações por e-mail aprimoradas para falhas de atualização
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
As notificações por e-mail permitem que os criadores do Dataflow Gen2 monitorem os resultados (sucesso/falha) da operação de atualização de um fluxo de dados.
Suporte à Cópia Rápida no Dataflow Gen2
Enviado (3º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
Estamos adicionando suporte para ingestão de dados em grande escala diretamente na experiência do Dataflow Gen2, utilizando o recurso Atividade de cópia de pipelines. Esse aprimoramento aumenta significativamente a capacidade de processamento de dados do Dataflow Gen2, fornecendo recursos ELT (Extract-Load-Transform) de alta escala.
Suporte à atualização incremental no Dataflow Gen2
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
Estamos adicionando suporte à atualização incremental no Dataflow Gen2. Esse recurso permite que você extraia dados de fontes de dados de forma incremental, aplique transformações do Power Query e carregue em vários destinos de saída.
Gerenciamento de identidade da fonte de dados (Identidade Gerenciada)
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
Isso permite que a identidade gerenciada seja configurada em um nível de workspace. Você pode usar as identidades gerenciadas do Fabric para se conectar à sua fonte de dados com segurança.
Suporte ao pipeline de dados para trabalhos do Azure Databricks
Enviado (3º trimestre de 2024)
Tipo de Versão: Visualização Pública
Estamos atualizando as atividades do Azure Databricks de pipelines de dados do Data Factory para agora usar a API de trabalhos mais recente, permitindo recursos de fluxo de trabalho interessantes, como a execução de trabalhos DLT.
Copilot para Data Factory (Dataflow)
Enviado (3º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
O Copilot for Data Factory (Dataflow) permite que os clientes expressem seus requisitos usando linguagem natural ao criar soluções de integração de dados com o Dataflows Gen2.
Suporte ao pipeline de dados para SparkJobDefinition
Enviado (2º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
Agora você pode executar seu código do Spark, incluindo arquivos JAR, diretamente de uma atividade de pipeline. Basta apontar para o código do Spark e o pipeline executará o trabalho no cluster do Spark no Fabric. Essa nova atividade permite padrões de fluxo de trabalho de dados interessantes que aproveitam o poder do mecanismo Spark do Fabric, incluindo o fluxo de controle do Data Factory e os recursos de fluxo de dados no mesmo pipeline que seus trabalhos do Spark.
Suporte ao pipeline de dados para gatilhos controlados por eventos
Enviado (2º trimestre de 2024)
Tipo de Versão: Visualização Pública
Um caso de uso comum para invocar pipelines de dados do Data Factory é disparar o pipeline em eventos de arquivo, como chegada e exclusão de arquivo. Para clientes provenientes do ADF ou do Synapse para o Fabric, o uso de eventos de armazenamento ADLS/Blog é muito comum como uma forma de sinalizar uma nova execução de pipeline ou capturar os nomes dos arquivos criados. Os gatilhos no Fabric Data Factory aproveitam os recursos da plataforma Fabric, incluindo gatilhos EventStreams e Reflex. Dentro da tela de design do pipeline do Fabric Data Factory, você terá um botão Gatilho que pode ser pressionado para criar um gatilho Reflex para o pipeline ou pode criar o gatilho diretamente da experiência do Data Activator.
Padrões de preparo para o destino de saída do Dataflow Gen 2
Enviado (2º trimestre de 2024)
Tipo de Versão: Visualização Pública
O Dataflow Gen2 fornece recursos para ingerir dados de uma ampla variedade de fontes de dados no Fabric OneLake. Ao preparar esses dados, eles podem ser transformados em alta escala aproveitando o mecanismo High-Scale Dataflows Gen2 (com base na computação SQL do Fabric Lakehouse/Warehouse).
O comportamento padrão do Dataflows Gen2 é preparar dados no OneLake para habilitar transformações de dados em alta escala. Embora isso funcione muito bem para cenários de alta escala, não funciona tão bem para cenários que envolvem pequenas quantidades de dados sendo ingeridos, pois introduz um salto extra (preparo) para dados antes de serem carregados no destino de saída do fluxo de dados.
Com os aprimoramentos planejados, estamos ajustando o comportamento de preparo padrão a ser desabilitado, para consultas com um destino de saída que não requer preparo (ou seja, Fabric Lakehouse e Banco de Dados SQL do Azure).
O comportamento de preparo pode ser configurado manualmente por consulta por meio do painel Configurações de Consulta ou do menu contextual de consulta no painel Consultas.
Suporte ao pipeline de dados para o Azure HDInsight
Enviado (2º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
O HDInsight é o serviço de PaaS do Azure para Hadoop que permite que os desenvolvedores criem soluções de Big Data muito poderosas na nuvem. A nova atividade de pipeline do HDI habilitará as atividades de trabalho do HDInsights dentro de seus pipelines de dados do Data Factory semelhantes à funcionalidade existente que você aprimorou por anos em pipelines do ADF e do Synapse. Agora trouxemos esse recurso diretamente para os pipelines de dados do Fabric.
Novos conectores para a Atividade de Cópia
Enviado (2º trimestre de 2024)
Tipo de Versão: Visualização Pública
Novos conectores serão adicionados à atividade de cópia para capacitar o cliente a ingerir das seguintes fontes, aproveitando o pipeline de dados: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Trabalho do Apache Airflow: criar pipelines de dados com tecnologia Apache Airflow
Enviado (2º trimestre de 2024)
Tipo de Versão: Visualização Pública
O trabalho do Apache Airflow (anteriormente chamado de fluxos de trabalho de dados) é alimentado pelo Apache Airflow e oferece um ambiente de tempo de execução integrado do Apache Airflow, permitindo que você crie, execute e agende DAGs Python com facilidade.
SPN (gerenciamento de identidades da fonte de dados)
Enviado (2º trimestre de 2024)
Tipo de lançamento: Disponibilidade geral
Entidade de serviço – para acessar recursos protegidos por um locatário do Azure AD, a entidade que requer acesso deve ser representada por uma entidade de segurança. Você poderá se conectar às suas fontes de dados com a entidade de serviço.
Integração do Git do Data Factory para pipelines de dados
Enviado (1º trimestre de 2024)
Tipo de Versão: Visualização Pública
Você pode se conectar ao seu repositório Git para desenvolver pipelines de dados de forma colaborativa. A integração de pipelines de dados com o recurso Application Lifecycle Management (ALM) da plataforma Fabric permite controle de versão, ramificação, confirmações e solicitações de pull.
Aprimoramentos nos destinos de saída no Dataflow Gen2 (esquema de consulta)
Enviado (1º trimestre de 2024)
Tipo de Versão: Visualização Pública
Estamos aprimorando os destinos de saída no Dataflow Gen2 com os seguintes recursos altamente solicitados:
- Capacidade de lidar com alterações de esquema de consulta após configurar um destino de saída.
- Configurações de destino padrão para acelerar a criação de fluxos de dados.
Para saber mais, consulte Destinos de dados e configurações gerenciadas do Dataflow Gen2
Obter melhorias na experiência de dados(Procurar recursos do Azure)
Enviado (1º trimestre de 2024)
Tipo de Versão: Visualização Pública
Navegar pelos recursos do Azure fornece navegação contínua para navegar pelos recursos do Azure. Você pode navegar facilmente por suas assinaturas do Azure e se conectar às suas fontes de dados por meio de uma interface do usuário intuitiva. Ele ajuda você a encontrar e se conectar rapidamente aos dados de que precisa.
Suporte ao OPDG (gateway de dados local) adicionado a pipelines de dados
Enviado (1º trimestre de 2024)
Tipo de Versão: Visualização Pública
Esse recurso permite que os pipelines de dados usem gateways de dados do Fabric para acessar dados locais e por trás de uma rede virtual. Para usuários que usam SHIR (tempos de execução de integração auto-hospedados), eles poderão migrar para gateways de dados locais no Fabric.
Suporte à Cópia Rápida no Dataflow Gen2
Enviado (1º trimestre de 2024)
Tipo de Versão: Visualização Pública
Estamos adicionando suporte para ingestão de dados em grande escala diretamente na experiência do Dataflow Gen2, utilizando o recurso Atividade de cópia de pipelines. Isso dá suporte a fontes como Bancos de Dados SQL do Azure, CSV e arquivos Parquet no Azure Data Lake Storage e no Armazenamento de Blobs.
Esse aprimoramento aumenta significativamente a capacidade de processamento de dados do Dataflow Gen2, fornecendo recursos ELT (Extract-Load-Transform) de alta escala.
Cancelar o suporte à atualização no Dataflow Gen2
Enviado (4º trimestre de 2023)
Tipo de Versão: Visualização Pública
Estamos adicionando suporte para cancelar atualizações contínuas do Dataflow Gen2 na exibição de itens do workspace.