Migrar do Dataflow Gen1 para o Dataflow Gen2
Este artigo tem como destino criadores de fluxo de dados do Power BI. Ele fornece orientação e justificativa para ajudar a migrar seus fluxos de dados para o Dataflow Gen2 no Data Factory para o Microsoft Fabric.
Nota
O Dataflow Gen2 é uma nova geração de fluxos de dados que fornece novos recursos e experiências aprimoradas. Os fluxos de dados Gen2 residem ao lado dos fluxos de dados do Power BI, que agora são conhecidos como Fluxo de Dados Gen1 .
Para entender as diferenças entre Dataflow Gen1 e Dataflow Gen2, consulte Da Geração 1 do Dataflow para a Geração 2 do Dataflow.
Contexto
Microsoft Fabric evoluiu para uma plataforma integrada para dados corporativos, gerenciados tanto por autoatendimento quanto por TI. Com o crescimento exponencial em volumes de dados e complexidade, os clientes do Fabric exigem que suas soluções empresariais sejam dimensionadas, sejam seguras, fáceis de gerenciar e acessíveis a todos os usuários na maior das organizações.
Nos últimos anos, a Microsoft deu grandes passos para fornecer recursos de nuvem escalonáveis para capacidade do Fabric. Para isso, o Data Factory no Fabric capacita instantaneamente um grande ecossistema de desenvolvedores de integração de dados e soluções de integração de dados que foram criadas ao longo de décadas. Ele aproveita o conjunto completo de recursos e funcionalidades que vão muito além da funcionalidade comparável disponível nas gerações anteriores.
Naturalmente, os clientes agora estão perguntando se há uma oportunidade de consolidar suas soluções de integração de dados hospedando-as no Fabric. Eles geralmente fazem perguntas como:
- Todas as funcionalidades de fluxo de dados das quais dependemos funcionam no Dataflow Gen2?
- Quais recursos estão disponíveis apenas no Dataflow Gen2?
- Como migrar fluxos de dados existentes para o Dataflow Gen2?
- Qual é o roteiro da Microsoft para ingestão de dados corporativos?
As respostas a muitas dessas perguntas são descritas neste artigo.
Nota
A decisão de migrar para a capacidade do Fabric depende dos requisitos de cada cliente. Os clientes devem avaliar cuidadosamente os benefícios para tomar uma decisão informada. Esperamos ver a migração orgânica para o Dataflow Gen2 ao longo do tempo, e nossa intenção é que isso aconteça em termos com os quais o cliente está confortável.
Para ficar claro, atualmente não há planos para descontinuar fluxos de dados do Power BI ou fluxos de dados do Power Platform. No entanto, há uma prioridade para concentrar o investimento no Dataflow Gen2 para ingestão de dados corporativos e, portanto, o valor fornecido pela capacidade do Fabric aumentará ao longo do tempo. Os clientes que escolherem a capacidade do Fabric podem esperar se beneficiar do alinhamento com o roteiro do produto Microsoft Fabric.
Convergência de autoatendimento e integração de dados corporativos
A consolidação de itens no Fabric simplifica a descoberta, a colaboração e o gerenciamento por meio da localização conjunta de recursos. Ele permite que as equipes centrais de TI adotem e integrem itens de autoatendimento populares com mais facilidade. Ao mesmo tempo, permite a operacionalização de serviços de transformação e movimentação de dados críticos alinhados com padrões corporativos, incluindo linhagem de dados e monitoramento.
Para dar suporte às necessidades colaborativas e escalonáveis dos criadores, o Dataflow Gen2 in Fabric apresenta de cópia rápida, que permite a ingestão eficiente de grandes volumes de dados usando a infraestrutura de back-end do Fabric para armazenar e processar dados intermediários durante a transformação. Ele pode lidar com terabytes de dados perfeitamente. Os criadores de fluxo de dados podem especificar destinos de dados para seus dados transformados, como um fabric lakehouse, warehouse, eventhouse ou Banco de Dados SQL do Azure, facilitando um melhor gerenciamento de dados e acessibilidade. Além disso, a recente integração da IA gerativa por meio do Copilot aprimora a experiência de preparação de dados fornecendo geração de código inteligente e automatizando tarefas repetitivas, fornecendo um caminho mais fácil e rápido para criar soluções complexas.
Ao utilizar uma plataforma comum, o fluxo de trabalho é simplificado, o que resulta em uma colaboração aprimorada entre a empresa e a TI. Portanto, as organizações têm o poder de dimensionar suas soluções de dados para níveis empresariais, garantindo alto desempenho, flexibilidade e eficiência no gerenciamento de grandes volumes de dados.
Capacidade de malha
Graças à arquitetura distribuída, capacidade do Fabric é menos sensível à carga geral, picos temporais e alta simultaneidade. Ao consolidar capacidades em SKUs com maior capacidade do Fabric, os clientes podem alcançar um desempenho e uma taxa de transferência aumentados.
Comparação de recursos
A tabela a seguir apresenta recursos compatíveis com o fluxo de dados do Power BI e/ou o Fabric Dataflow Gen2.
| Característica | Power BI Dataflow Gen1 | Fabric Dataflow Gen2 |
|---|---|---|
| conectividade | ||
| Suporte para todas as fontes de dados do Power Query | Sim | Sim |
| Conectar e carregar dados de fluxos de dados no Power BI Desktop, Excel ou Power Apps | Sim | Sim |
| Escalabilidade | ||
| Não | Sim | |
| Atualização agendada, que mantém os dados atualizados. | Sim | Sim |
| Atualização incremental, que usa políticas para automatizar a carga de dados incremental e pode ajudar a fornecer relatórios quase em tempo real | Sim | Sim |
| de orquestração de pipeline de dados, que permite adicionar uma atividade de fluxo de dados a um pipeline de dados e criar eventos condicionais orquestrados | Não | Sim |
| Inteligência artificial | ||
| Copilot for Data Factory, que fornece geração de código inteligente para transformar dados com facilidade e gera explicações de código para ajudar a entender melhor tarefas complexas | Não | Sim |
| Serviços Cognitivos, que usam IA (inteligência artificial) para aplicar algoritmos diferentes dos Serviços Cognitivos do Azure para enriquecer a preparação de dados de autoatendimento | Sim | Sem 1 |
| autoML (machine learning automatizado), que permite que analistas de negócios treinem, validem e invoquem modelos de ML (machine learning) diretamente no Fabric | Preterido 2 | |
| integração do Azure Machine Learning, que expõe modelos personalizados como funções dinâmicas do Power Query que os usuários podem invocar no Editor do Power Query | Sim | Sem 1 |
| Gerenciamento de conteúdo | ||
| exibição de linhagem de dados, que ajuda os usuários a entender e avaliar as dependências dos itens do fluxo de dados | Sim | Sim |
| fluxos de implantação, que gerenciam o ciclo de vida do conteúdo do Fabric | Sim | Sim |
| Escalabilidade e resiliência da plataforma | ||
| arquitetura de capacidade Premium , que suporta um aumento de escala e desempenho | Sim | Sim |
| suporte a Multi-Geo, que ajuda os clientes multinacionais a atender aos requisitos regionais, específicos do setor ou organizacionais de localização de dados. | Sim 3 | Sim |
| Segurança | ||
| Gateway de dados de rede virtual (VNet) oferece conectividade, permitindo que o Fabric funcione perfeitamente na rede virtual de uma organização | Não | Sim |
| Conectividade do gateway de dados local, que permite o acesso seguro a dados entre as fontes de dados locais de uma organização e no Fabric | Sim | Sim |
| As marcas de serviço do Azure dão suporte à, sendo um grupo de endereços IP pré-definido e gerenciado automaticamente para minimizar a complexidade das atualizações ou alterações nas regras de segurança de rede. | Sim | Sim |
| Governança | ||
| Endosso de conteúdo , para promover ou certificar itens valiosos e de alta qualidade do Fabric | Sim | Sim |
| Integração do Microsoft Purview, que ajuda os clientes a gerenciar e controlar itens do Fabric | Sim | Sim |
| A MIP (Proteção de Informações da Microsoft) rótulos de confidencialidade e integração com Microsoft Defender para Aplicativos de Nuvem para prevenção contra perda de dados (DLP) | Sim | Sim |
| Monitoramento e Registro em Log de Diagnóstico | ||
| Histórico de atualização aprimorado , que permite avaliar em detalhes o que ocorreu durante a atualização do seu fluxo de dados. | Não | Sim |
| Central de monitoramento, que fornece recursos de monitoramento para itens Fabric | Não | Sim |
| aplicativo de Métricas de Capacidade do Microsoft Fabric, que fornece recursos de monitoramento para a capacidade do Fabric | Sim | Sim |
| Log de auditoria, que monitora as atividades do usuário no Fabric e no Microsoft 365 | Sim | Sim |
1 Para aprender como criar funções personalizadas que chamam endpoints da API de IA do Azure, consulte Tutorial: Extrair frases-chave do texto armazenado no Power BI.
2 AutoML (Machine Learning Automatizado) foi preterido. Para mais informações, consulte este comunicado oficial .
3 Para configurar o armazenamento de fluxo de dados do Power BI para usar o Azure Data Lake Storage (ADLS) Gen2, consulte este artigo.
Considerações
Há outras considerações a considerar em seu planejamento antes de migrar para o Dataflow Gen2.
Licenciamento
Você precisa de uma licença PPU (Pro ou Premium por Usuário) para publicar ou gerenciar fluxos de dados do Power BI (Dataflow Gen1). Por outro lado, você só precisa de uma licença do Microsoft Fabric (Gratuito) para criar um Dataflow Gen2 em um workspace de capacidade Premium.
Migração
Modelos do Power Query simplificam o processo de transferência de um projeto entre diferentes integrações do Power Query. Eles ajudam a simplificar o que poderia ser uma tarefa complexa e demorada. Os modelos encapsulam todo o projeto do Power Query, incluindo scripts e metadados, em um único arquivo portátil.
Os modelos do Power Query foram projetados para serem compatíveis com várias integrações, como fluxos de dados do Power BI e Fabric Dataflow Gen2, garantindo uma transição suave entre esses serviços.
Roteiro
O plano de lançamento do Microsoft Fabric anuncia as atualizações e cronogramas mais recentes à medida que os recursos são preparados para lançamento futuro, incluindo os novos recursos e o que está planejado para o Data Factory no Microsoft Fabric.
Conteúdo relacionado
Para obter mais informações sobre este artigo, confira os seguintes recursos: