Migrar para o Data Factory no Microsoft Fabric
O Data Factory no Microsoft Fabric reúne o Power Query e o Azure Data Factory em uma experiência moderna de integração de dados confiável que capacita os profissionais de dados e de negócios a extrair, carregar e transformar dados para sua organização. Além disso, os poderosos recursos de orquestração de dados permitem que você crie fluxos de trabalho de dados simples a complexos que orquestram as etapas necessárias para suas necessidades de integração de dados.
Principais conceitos do Data Factory no Microsoft Fabric
Obter dados e transformação - O Dataflow Gen2 é uma evolução dos fluxos de dados no Power BI. O Dataflow Gen2 foi rearquitetado para usar mecanismos de computação Fabric para processamento e transformação de dados. Isso permite que eles ingeram e transformem dados em qualquer escala.
Orquestração de dados - Usando pipelines de dados já familiares aos usuários do Azure Data Factory (ADF), o Microsoft Fabric habilita os mesmos recursos de orquestração oferecidos no ADF. Como parte da versão GA do Fabric, os pipelines de dados suportam a maioria das atividades disponíveis no ADF.
Consulte esta lista de atividades que fazem parte dos pipelines de dados no Fabric.
Movimentação de dados pronta para a empresa - Quer se trate de pequenos movimentos de dados ou de escala de petabytes, o Data Factory fornece uma plataforma de movimentação de dados inteligente e sem servidor que lhe permite mover dados entre diversas fontes de dados e destinos de dados de forma fiável. Com suporte para conectores 170+, o Data Factory no Microsoft Fabric permite mover dados entre multiclouds, fontes de dados locais e redes virtuais (VNet). A otimização inteligente da taxa de transferência permite que a plataforma de movimentação de dados detete automaticamente o tamanho da computação necessária para a movimentação de dados.
Migrar do Azure Data Factory (ADF)
Para permitir que os clientes atualizem para o Microsoft Fabric a partir do Azure Data Factory (ADF), oferecemos suporte aos seguintes recursos:
Atividades de pipeline de dados - Damos suporte à maioria das atividades que você já usa no ADF para o Data Factory na malha. Além disso, adicionamos novas atividades para notificações, por exemplo, as atividades do Teams e do Outlook. Consulte esta lista de atividades disponíveis no Data Factory in Fabric.
Conector OneLake/Lakehouse no Azure Data Factory - Para muitos clientes do ADF, agora você pode integrar com o Microsoft Fabric e trazer dados para o Fabric OneLake.
Azure Data Factory Mapping Dataflow to Fabric - Fornecemos este guia para clientes do ADF que estão considerando criar novas transformações de dados na malha.
Além disso, para os clientes que estão pensando em migrar seus fluxos de dados de mapeamento do ADF para o Fabric, você pode aplicar o código de exemplo da Fabric Customer Advisory Team (Fabric CAT) para converter fluxos de dados de mapeamento em código do Spark. Saiba mais em Mapeando fluxos de dados para o Microsoft Fabric.
Como parte do roteiro do Data Factory no Microsoft Fabric, estamos trabalhando para a visualização do seguinte até o Q2 CY2024:
- Montagem do ADF na malha - Esse recurso permitirá que os clientes montem o ADF existente no Microsoft Fabric. Todos os pipelines do ADF funcionarão como estão e continuarão em execução no Azure, permitindo que você explore o Fabric e elabore um plano de atualização mais abrangente.
- Atualização de pipelines do ADF para o Fabric - Estamos trabalhando com os clientes e a comunidade para saber como podemos oferecer melhor suporte a upgrades de pipelines de dados do ADF para o Fabric. Como parte disso, forneceremos uma experiência de atualização que permite que você teste seus pipelines de dados existentes no Fabric usando a montagem e atualização dos pipelines de dados.
Migrar o Power BI Dataflow Gen1 para o Dataflow Gen2 na malha
O Dataflow Gen2 no Fabric oferece muitas vantagens e novos recursos em comparação com os fluxos de dados (Gen1) no Power BI:
- Obter dados em alta escala ("cópia rápida")
- Transformações de dados de alta escala (usando o mecanismo SQL do Fabric Lakehouse)
- Mais destinos de saída: Banco de Dados SQL do Azure, Lakehouse, Warehouse, SharePoint, bancos de dados KQL e muito mais
- Histórico de atualização aprimorado & Experiência de monitoramento
- Experiências aprimoradas de criação e publicação.
Incentivamos os clientes a começar a experimentar o Dataflow Gen2, seja para recriar cenários existentes do Dataflow Gen1 ou para experimentar novos. O feedback inicial sobre o Dataflow Gen2 nos ajudará a evoluir e amadurecer os recursos do produto.
Temos algumas opções para os clientes recriarem seus fluxos de dados Gen1 como Dataflow Gen2:
- Exportar consultas Dataflow Gen1 e importá-las para Dataflow Gen2: agora você pode exportar consultas nas experiências de criação Dataflows e Dataflow Gen2 e salvá-las em arquivos PQT que você pode importar para Dataflow Gen2. Para obter mais informações, consulte Usar o recurso de modelo de exportação.
- Copiar e colar no Power Query: Se tiver um fluxo de dados no Power BI ou Power Apps, pode copiar as suas consultas e colá-las na experiência de edição do seu artefacto Dataflow Gen2. Essa funcionalidade permite que você migre seu fluxo de dados para o Gen2 sem ter que reescrever suas consultas. Para obter mais informações, consulteCopiar e colar consultas de fluxos de dados existentes (Gen1).
Consulte também o seguinte artigo para obter mais considerações: Diferenças entre Dataflow Gen1 e Gen2