Migrar do Azure Data Factory para o Data Factory no Microsoft Fabric
Este artigo tem como destino os criadores de pipeline do Azure Data Factory e do Synapse Gen2. Fornece orientação e lógica para ajudar a modernizar e migrar seus pipelines para o Data Factory para Microsoft Fabric.
Contexto
O Microsoft Fabric é uma plataforma integrada para dados corporativos gerenciados por TI e de autoatendimento. Com o crescimento exponencial em volumes de dados e complexidade, os clientes do Fabric exigem soluções empresariais que dimensionam, são seguras, fáceis de gerenciar e acessíveis a todos os usuários na maior das organizações.
Nos últimos anos, a Microsoft investiu um trabalho significativo para fornecer recursos de nuvem escalonáveis aos clientes. Para isso, o Data Factory in Fabric capacita um grande ecossistema de desenvolvedores de integração de dados e soluções de integração de dados criadas ao longo de décadas para usar o conjunto completo de recursos e funcionalidades que vão muito além da funcionalidade comparável disponível nas gerações anteriores.
Naturalmente, os clientes estão perguntando se há uma oportunidade de se consolidar hospedando suas soluções de integração de dados no Fabric. Eles geralmente fazem perguntas como:
- Todas as funcionalidades das quais dependemos funcionam nos pipelines do Fabric?
- Quais funcionalidades estão disponíveis somente em pipelines do Fabric?
- Como migrar pipelines existentes para os pipelines do Fabric?
- Qual é o roteiro da Microsoft para a ingestão de dados corporativos?
As respostas a muitas dessas perguntas são descritas neste artigo.
Observação
A decisão de migrar para as capacidades do Fabric depende dos requisitos de cada cliente. Os clientes devem avaliar cuidadosamente outros benefícios para tomar uma decisão informada. Esperamos ver uma migração orgânica para os pipelines do Fabric ao longo do tempo, e nossa intenção é que isso aconteça nos termos com os quais cada cliente se sinta confortável.
Para ficar claro, atualmente não há planos para preterir o Azure Data Factory ou o Synapse Gen2 para ingestão de dados. Há uma prioridade em concentrar o investimento em pipelines do Fabric para ingestão de dados corporativos e, assim, o valor adicional fornecido pelas capacidades do Fabric aumentará ao longo do tempo. Os clientes que escolherem as capacidades do Fabric podem esperar se beneficiar do alinhamento com o roteiro de produtos do Microsoft Fabric.
Convergência da integração de dados corporativos e de autoatendimento
A consolidação de itens no Fabric simplifica a descoberta, a colaboração e o gerenciamento colocando recursos. Isso permite que as equipes de TI centrais operacionalizem serviços de transformação e movimentação de dados críticos alinhados com padrões corporativos, incluindo linhagem e monitoramento de dados, ao mesmo tempo em que integram mais facilmente itens populares de autoatendimento.
Para dar suporte às necessidades colaborativas e escalonáveis das organizações, os pipelines do Fabric introduzem atividades do Office 365 e do Teams para enviar mensagens, atualizações perfeitas de modelos semânticos do Power BI e recursos de governança robustos, ajudando as organizações a gerenciar a linhagem de dados e o monitoramento de pipeline. A integração da IA generativa por meio do Copilot aprimora ainda mais a experiência de pipeline oferecendo explicações inteligentes de geração de pipeline e resolução de erros, simplificando a criação e o gerenciamento de soluções complexas.
Ao utilizar uma plataforma comum, o fluxo de trabalho é simplificado, aprimorando o desenvolvimento de soluções entre empresas e TI. Isso capacita as organizações a dimensionar suas soluções de dados para níveis corporativos, garantindo alto desempenho, flexibilidade e eficiência no gerenciamento de grandes quantidades de dados.
Capacidades do Fabric
Devido à arquitetura distribuída, as capacidades do Fabric são menos sensíveis à carga geral, picos temporais e alta simultaneidade. Ao consolidar capacidades em SKUs com maior capacidade do Fabric, os clientes podem alcançar um desempenho e uma taxa de transferência aumentados.
Comparação de recursos
A tabela a seguir lista os recursos compatíveis com o Azure Data Factory e o Fabric Data Factory.
| Recurso | Azure Data Factory | Fábrica de Dados do Fabric |
|---|---|---|
| Atividades do pipeline | ||
| As atividades de Office 365 e do Teams permitem que você envie mensagens de forma integrada, facilitando a comunicação e colaboração eficientes em toda a sua organização | Não | Sim |
| Criação de conexões com o modelo semântico do Power BI e o Dataflow Gen2 para garantir que seus dados sejam atualizados de maneira consistente e estejam atualizados | Não | Sim |
| Validação em um pipeline para garantir que o pipeline só continuará a execução depois de validar que a referência do conjunto de dados anexada existe, que ela atende aos critérios especificados ou que ela atingiu o tempo limite | Sim | Sim1 |
| Executar um pacote do SQL Server Integration Services (SSIS) para realizar operações de integração e transformação de dados. | Sim | Planejado |
| Transformação de dados | ||
| Transformações de dados visualmente projetadas usando clusters do Apache Spark com Mapping Dataflows para criar e gerenciar processos de transformação de dados por meio de uma interface gráfica. | Sim | Não2 |
| Transformações de dados projetadas visualmente usando o mecanismo de computação do Fabric com a interface gráfica intuitiva do Power Query no Dataflow Gen2 | Não | Sim |
| Conectividade | ||
| Suporte para todas as fontes de dados Data Factory | Sim | Em andamento3 |
| Escalabilidade | ||
| Garantia da execução sem problemas de atividades em um pipeline com execuções agendadas | Sim | Sim |
| Agendar várias execuções para um só pipeline para um gerenciamento flexível e eficiente de processos | Sim | Planejado |
| Utilização de gatilhos de janela em cascata para agendar execuções de pipeline em janelas distintas e não sobrepostas | Sim | Planejado |
| Gatilhos de evento para automatizar a execução de execuções de pipeline em resposta a ocorrências de eventos específicas ou relevantes | Sim | Sim4 |
| Inteligência artificial | ||
| Copilot for Data Factory, que fornece geração de fluxos de trabalho automatizada e inteligente para integrar dados de maneira simplificada, além de explicações ajudando a compreender melhor fluxos de trabalho complexos ou oferecer sugestões para mensagens de erro. | Não | Sim |
| Gerenciamento de conteúdo | ||
| Exibição de linhagem de dados, que ajuda os usuários a entender e avaliar as dependências de pipeline | Não | Sim |
| Pipelines de implantação, que gerenciam o ciclo de vida do conteúdo | Não | Sim |
| Escalabilidade e resiliência da plataforma | ||
| arquitetura de capacidade Premium , que suporta um aumento de escala e desempenho | Não | Sim |
| suporte a Multi-Geo, que ajuda os clientes multinacionais a atender aos requisitos regionais, específicos do setor ou organizacionais de localização de dados. | Sim | Sim |
| Segurança | ||
| Conectividade de rede virtual (gateway de dados da rede virtual), que permite ao Fabric funcionar perfeitamente na rede virtual de uma organização | Não | Planejado |
| Conectividade de gateway de dados local, que permite o acesso seguro de dados entre as fontes de dados locais de uma organização e os itens do Fabric | Não | Sim |
| Suporte para marcas de serviço do Azure, um grupo definido de endereços IP que é gerenciado automaticamente para minimizar a complexidade de atualizações ou alterações nas regras de segurança de rede | Sim | Sim |
| Governança | ||
| Endosso de conteúdo , para promover ou certificar itens valiosos e de alta qualidade do Fabric | Não | Sim |
| Integração do Microsoft Purview, que ajuda os clientes a gerenciar e controlar itens do Fabric | Sim | Sim |
| Rótulos de confidencialidade do MIP (Proteção de Informações da Microsoft) e integração ao Microsoft Defender para Aplicativos de Nuvem para prevenção contra perda de dados | Não | Sim |
| Monitoramento e Registro em Log de Diagnóstico | ||
| Registrando eventos de execução de pipeline em um repositório de eventos para monitorar, analisar e solucionar problemas de desempenho do pipeline | Sim | Planejado |
| Central de monitoramento, que fornece recursos de monitoramento para itens Fabric | Não | Sim |
| Aplicativo de Métricas de Capacidade do Microsoft Fabric, que fornece funcionalidades de monitoramento para capacidades do Fabric | Não | Sim |
| Log de auditoria, que monitora as atividades do usuário no Fabric e no Microsoft 365 | Não | Sim |
1 Use as atividades Obter metadados, Até e Condição If para recuperação de metadados equivalentes da atividade Validação.
2 Use a função Invocar pipeline remoto para executar as atividades de fluxo de dados de mapeamento. Consulte a atividade Invocar pipeline.
3 Para ver os conectores atualmente com suporte para os pipelines de dados. Consulte Suporte de pipeline.
4 Use fluxos de eventos do Fabric e do Reflex para disparar eventos de execução, confira Gatilhos de eventos de pipeline.
Considerações
Há algumas outras questões a serem levadas em conta em seu planejamento antes de migrar para pipelines do Fabric.
Licenciamento
Os pipelines do Fabric exigem, no mínimo, uma licença do Microsoft Fabric (Gratuito) para a criação em um workspace de capacidade premium. Para saber mais, consulte Licenças do Fabric.
Roteiro
A documentação do plano de lançamento do Microsoft Fabric anuncia as atualizações e cronogramas mais recentes para os clientes, à medida que os recursos são preparados para lançamentos futuros, incluindo novidades e planejamentos para o Data Factory no Microsoft Fabric.
Para obter mais informações, confira a documentação do plano de lançamento do Microsoft Fabric.
Conteúdo relacionado
Saiba como planejar o plano de migração do ADF para o Fabric Data Factory.