Partilhar via

Migrar do Dataflow Gen1 para o Dataflow Gen2

  • Artigo

Este artigo destina-se a criadores de fluxo de dados do Power BI. Ele fornece orientação e lógica para ajudar a migrar seus fluxos de dados para o Dataflow Gen2 no Data Factory for Microsoft Fabric.

Observação

O Dataflow Gen2 é uma nova geração de fluxos de dados que oferece novos recursos e experiências aprimoradas. Os fluxos de dados Gen2 residem ao lado dos fluxos de dados do Power BI, que agora são conhecidos como Dataflow Gen1.

Para entender as diferenças entre Dataflow Gen1 e Dataflow Gen2, consulte Getting from Dataflow Generation 1 to Dataflow Generation 2.

Contexto geral

O Microsoft Fabric evoluiu para uma plataforma integrada para dados corporativos de autoatendimento e gerenciados por TI. Com o crescimento exponencial em volumes de dados e complexidade, os clientes da Fabric exigem que suas soluções corporativas sejam dimensionadas, seguras, fáceis de gerenciar e acessíveis a todos os usuários nas maiores organizações.

Nos últimos anos, a Microsoft tem dado grandes passos para fornecer capacidades de nuvem escaláveis para a capacidade do Fabric. Para esse fim, o Data Factory in Fabric capacita instantaneamente um grande ecossistema de desenvolvedores de integração de dados e soluções de integração de dados que foram construídas ao longo de décadas. Ele aproveita todo o conjunto de recursos e capacidades que vão muito além da funcionalidade comparável disponível nas gerações anteriores.

Naturalmente, os clientes agora estão se perguntando se há uma oportunidade de consolidar suas soluções de integração de dados hospedando-as no Fabric. Eles geralmente fazem perguntas como:

  • Toda a funcionalidade de fluxo de dados de que dependemos funciona no Dataflow Gen2?
  • Quais recursos estão disponíveis apenas no Dataflow Gen2?
  • Como migramos os fluxos de dados existentes para o Dataflow Gen2?
  • Qual é o roteiro da Microsoft para a ingestão de dados corporativos?

As respostas a muitas dessas perguntas são descritas neste artigo.

Observação

A decisão de migrar para a capacidade do Fabric depende dos requisitos de cada cliente. Os clientes devem avaliar cuidadosamente os benefícios, a fim de tomar uma decisão informada. Esperamos ver a migração orgânica para o Dataflow Gen2 ao longo do tempo, e nossa intenção é que isso aconteça em termos com os quais o cliente se sinta confortável.

Para ficar claro, atualmente não há planos para descontinuar os fluxos de dados do Power BI ou os fluxos de dados da Power Platform. No entanto, há uma prioridade para concentrar o investimento no Dataflow Gen2 para a ingestão de dados corporativos, pelo que o valor fornecido pela capacidade do Fabric aumentará com o tempo. Os clientes que escolhem a capacidade do Fabric podem esperar beneficiar-se do alinhamento com o plano de desenvolvimento do produto Microsoft Fabric .

Convergência de autosserviço e integração de dados corporativos

A consolidação de itens no Fabric simplifica a deteção, a colaboração e o gerenciamento por meio da colocalização de recursos. Ele permite que as equipes centrais de TI adotem e integrem mais facilmente itens populares de autoatendimento. Ao mesmo tempo, permite operacionalizar serviços de movimentação e transformação de dados de missão crítica alinhados com os padrões corporativos, incluindo linhagem e monitoramento de dados.

Para dar suporte às necessidades colaborativas e escaláveis dos criadores, o Dataflow Gen2 no Fabric introduz cópia rápida, que permite a ingestão eficiente de grandes volumes de dados ao utilizar a infraestrutura de back-end do Fabric para armazenar e processar dados intermédios durante a transformação. Ele pode lidar com terabytes de dados perfeitamente. Os criadores de fluxo de dados podem especificar destinos de dados para os seus dados transformados, como um lakehouse do Fabric, armazém, eventhouse ou Banco de Dados SQL do Azure, facilitando um melhor gerenciamento e acessibilidade de dados. Além disso, a recente integração da IA generativa por meio do Copilot melhora a experiência de preparação de dados, fornecendo geração inteligente de código e automatizando tarefas repetitivas, fornecendo um caminho mais fácil e rápido para criar soluções complexas.

Ao utilizar uma plataforma comum, o fluxo de trabalho é simplificado, o que resulta em uma colaboração aprimorada entre a empresa e a TI. As organizações estão, portanto, capacitadas a escalar suas soluções de dados para níveis corporativos, garantindo alto desempenho, flexibilidade e eficiência no gerenciamento de grandes volumes de dados.

Capacidade do tecido

Graças à sua arquitetura distribuída, a capacidade de malha é menos sensível à carga geral, picos temporais e alta concorrência. Ao consolidar as capacidades em SKUs de maior capacidade de malha, os clientes podem obter maior desempenho e rendimento.

Comparação de recursos

A tabela a seguir apresenta os recursos suportados no fluxo de dados do Power BI e/ou no Fabric Dataflow Gen2.

Funcionalidade Power BI Dataflow Gen1 Fluxo de dados de malha Gen2
Conectividade
Suporte para todas as fontes de dados do Power Query Sim Sim
Conectar-se a, e carregar dados dos, fluxos de dados no Power BI Desktop, Excel ou Power Apps Sim Sim
Escalabilidade
Fast copy, que suporta a ingestão de dados em grande escala, utilizando o pipeline de dados de atividade de cópia dentro dos fluxos de dados Não Sim
Atualização programada, que mantém os dados sempre atualizados Sim Sim
Atualização incremental, que usa políticas para automatizar a carga incremental de dados e pode ajudar a fornecer relatórios quase em tempo real. Sim Sim
Orquestração de pipeline de dados, que permite adicionar uma atividade de fluxo de dados a um pipeline de dados e criar eventos condicionais orquestrados Não Sim
Inteligência artificial
Copilot for Data Factory, que fornece geração inteligente de código para transformar dados com facilidade e gera explicações de código para ajudar a entender melhor tarefas complexas Não Sim
Serviços Cognitivos, que utilizam inteligência artificial (IA) para aplicar diferentes algoritmos dos Serviços Cognitivos do Azure, enriquecendo a preparação de dados de autoatendimento. Sim N.º 1
Aprendizado de máquina automatizado (AutoML), que permite que analistas de negócios treinem, validem e invoquem modelos de aprendizado de máquina (ML) diretamente no Fabric Descontinuado 2
integração do do Azure Machine Learning, que expõe modelos personalizados como funções dinâmicas do Power Query que os utilizadores podem invocar no Editor do Power Query Sim N.º 1
Gerenciamento de Conteúdo
Exibição de linhagem de dados, que ajuda os usuários a entender e avaliar as dependências de itens de fluxo de dados Sim Sim
Pipelines de implantação, que gerem o ciclo de vida do conteúdo de Fabric Sim Sim
Escalabilidade e resiliência da plataforma
Arquitetura de capacidade premium, que suporta maior escala e desempenho Sim Sim
Suporte ao Multi-Geo, que ajuda os clientes multinacionais a satisfazer os requisitos de residência de dados regionais, específicos do setor ou organizacionais Sim 3 Sim
Segurança
Gateway de dados de rede virtual (VNet) conectividade, que permite que o Fabric funcione perfeitamente na rede virtual de uma organização Não Sim
Conectividade de gateway de dados no local, que permite o acesso seguro a dados entre as fontes de dados no local de uma organização e o Fabric. Sim Sim
Tags de serviço do Azure suportam, que é um grupo definido de endereços IP que é gerido automaticamente para minimizar a complexidade das atualizações ou alterações nas regras de segurança de rede Sim Sim
Governance
Conteúdo endosso, para promover ou certificar produtos de tecido valiosos e de alta qualidade Sim Sim
Integração do Microsoft Purview, que ajuda os clientes a gerir e governar itens Fabric Sim Sim
Proteção de Informações da Microsoft (MIP) rótulos de sensibilidade e integração com Microsoft Defender for Cloud Apps para prevenção de perda de dados (DLP) Sim Sim
Monitoramento e registro de diagnóstico
Histórico de atualização de aprimorado, que permite avaliar em detalhes o que aconteceu durante a atualização do seu fluxo de dados Não Sim
centro de monitorização, que fornece capacidades de monitorização para itens Fabric Não Sim
aplicação Microsoft Fabric Capacity Metrics, que fornece recursos de monitorização para a capacidade do Fabric Sim Sim
Log de auditoria, que rastreia as atividades do utilizador no Fabric e no Microsoft 365 Sim Sim

1 Para saber como criar funções personalizadas que chamam endpoints da API do Azure AI, consulte Tutorial: Extrair Frases-chave do Texto Armazenado no Power BI.

2 Automated Machine Learning (AutoML) foi descontinuado. Para obter mais informações, consulte este anúncio oficial.

3 Para configurar o armazenamento de fluxo de dados do Power BI para usar o Azure Data Lake Storage (ADLS) Gen2, consulte este artigo.

Considerações

Há outras considerações a serem consideradas em seu planejamento antes de migrar para o Dataflow Gen2.

Licenciamento

Você precisa de uma licença Pro ou Premium Per User (PPU) para publicar ou gerenciar fluxos de dados do Power BI (Dataflow Gen1). Por outro lado, você só precisa de uma licença do Microsoft Fabric (Free) para criar um Dataflow Gen2 em um espaço de trabalho de capacidade Premium.

Cenários de migração

Ao migrar seus fluxos de dados, é importante pensar além de simplesmente copiar as soluções existentes. Em vez disso, recomendamos modernizar suas soluções aproveitando as mais recentes inovações e recursos do Dataflow Gen2. Essa abordagem garante que suas soluções possam suportar as crescentes demandas do negócio.

No artigo Cenários de migração , são descritos vários métodos para modernizar, fazer inventário e utilizar aceleradores, como modelos do Power Query . Esses métodos podem ajudar a garantir uma atualização perfeita para seus projetos.

Roteiro

O plano de lançamento do Microsoft Fabric anuncia as mais recentes atualizações e prazos, à medida que os recursos são preparados para versões futuras, incluindo novidades e planos para Data Factory no Microsoft Fabric.

Conteúdo relacionado

Para obter mais informações sobre este artigo, consulte os seguintes recursos: