Compartilhar via

Migrar do Dataflow Gen1 para o Dataflow Gen2: cenários de migração

  • Artigo

Este artigo apresenta diferentes cenários de migração que você pode considerar ao migrar do Dataflow Gen1 para o Dataflow Gen2. Ele também fornece diretrizes e recomendações de execução. Esses cenários podem inspirá-lo a determinar a abordagem de migração correta com base em seus requisitos e circunstâncias de negócios.

Ao migrar seus fluxos de dados, é importante pensar além de simplesmente copiar soluções existentes. Em vez disso, recomendamos modernizar suas soluções aproveitando as inovações e funcionalidades mais recentes do Dataflow Gen2. Essa abordagem garante que suas soluções possam dar suporte às demandas crescentes da empresa.

Por exemplo, o Dataflow Gen2 tem um recurso chamado cópia rápida, o que reduz significativamente o tempo necessário para ingerir dados para determinadas transformações e conectores. O Dataflow Gen2 também teve a atualização incremental aprimorada, que otimiza os processos de atualização de dados ao modificar apenas os dados alterados. Esses avanços não apenas melhoram o desempenho e a eficiência, mas também garantem que suas soluções sejam dimensionadas.

Nota

Os cenários de migração são representativos das migrações reais do cliente, no entanto, os cenários individuais do cliente serão, naturalmente, diferentes.

Este artigo não aborda as informações de preços. Para obter informações sobre preço, confira Preço do Fabric.

Importante

O consumo de CPU pelo Dataflow Gen1 e pelo Dataflow Gen2 pode variar por vários motivos, como o uso de novos recursos no Dataflow Gen2, incluindo preparo de lakehouse e computação de repositório. Recomendamos que você execute uma análise detalhada, talvez como uma POC (prova de conceito), para quantificar o consumo comparativo de CPU entre o Dataflow Gen1 e o Dataflow Gen2 antes de migrar seus fluxos de dados.

Cenários de migração

Os fluxos de dados oferecem uma plataforma versátil para criar soluções escalonáveis de ETL (extrair, transformar e carregar) e ELT (extrair, carregar e transformar), atendendo a uma variedade de cenários de uso, desde o uso pessoal de BI até o uso corporativo de BI.

Aqui estão três cenários de migração possíveis que inspiraram este artigo:

  • uso pessoal ou de equipe: equipes pequenas ou indivíduos usam fluxos de dados para automatizar tarefas de ingestão e preparação de dados, permitindo que eles se concentrem na análise de dados e insights. Por exemplo, uma equipe pode usar fluxos de dados para extrair dados de várias fontes, como o Microsoft Excel ou o Microsoft SharePoint. Seus fluxos de dados transformam os dados de origem de acordo com suas necessidades específicas e os carregam em um modelo semântico para fins de relatório.
  • Uso departamental: Os departamentos de uma organização usam fluxos de dados para gerenciar fontes de dados maiores e transformações complexas. Eles podem criar fluxos de dados composáveis que promovem a reutilização e a consistência em relatórios departamentais, garantindo que todos os membros da equipe trabalhem na mesma versão dos dados.
  • Uso corporativo: em um nível corporativo, os fluxos de dados são fundamentais na ingestão de grandes quantidades de dados em vários departamentos em escala. Eles servem como uma camada centralizada de preparação de dados que se alimenta de muitos modelos semânticos, sustentando um amplo espectro de aplicativos de business intelligence e análise. Toda a organização se beneficia de dados confiáveis atualizados, habilitando a tomada de decisão bem informada em todos os níveis.

Em cada um desses cenários, os fluxos de dados ajudam a criar soluções ETL/ELT robustas e escalonáveis que podem crescer com as necessidades da equipe, departamento ou organização. Fluxos de dados bem projetados garantem que os processos de gerenciamento de dados permaneçam eficientes e eficazes.

Para obter mais informações sobre cenários de uso, consulte o planejamento de implementação do Microsoft Fabric .

Cenário de migração 1

Nesse cenário de migração, a organização usa fluxos de dados do Power BI para preparação de dados de autoatendimento para dar suporte a cenários de uso pessoal ou de equipe. Os fluxos de dados estão contidos em um único workspace atribuído a uma capacidade do Fabric.

Os criadores de fluxo de dados desejam aproveitar os recursos avançados do Dataflow Gen2 para fins de criação. Ao mesmo tempo, eles planejam continuar temporariamente usando tabelas de fluxo de dados como uma fonte de dados durante uma migração em fases. Essa abordagem garante facilidade de uso e conectividade para criadores de conteúdo que trabalham com modelos semânticos, planilhas do Excel ou tabelas do Dataverse existentes, pelo menos até que a transição para fontes de destino de dados com suporte seja concluída.

Para migrar suas soluções, os criadores de fluxo de dados:

  1. Atualize o ID do espaço de trabalho, se um novo espaço de trabalho for criado para armazenar o novo fluxo de dados.
  2. Atualize as soluções existentes da ID do fluxo de dados original (Gen1) para a nova ID do fluxo de dados (Gen2).

Aqui está uma consulta de exemplo atualizada para obter dados de uma tabela de dimensão de data.

let
    Source = PowerPlatform.Dataflows(null),
    Workspaces = Source{[Id="Workspaces"]}[Data],
    Workspace = Workspaces{[workspaceId="<enter new workspace ID>"]}[Data],
    DataflowId = Workspace{[dataflowId="<enter new dataflow ID"]}[Data],
    DimDateTable = DataflowId{[entity="DimDate", version=""]}[Data]
in
    DimDateTable

Dica

Se você parametrizar os valores de workspaceId e dataflowId nos modelos semânticos, poderá usar a operação da API REST Conjuntos de dados – atualizar parâmetro no grupo para atualizar programaticamente os detalhes do parâmetro mashup.

Importante

Embora seja possível obter dados usando o conector de fluxo de dados, essa abordagem não é recomendada quando se utiliza o Dataflow Gen2. Em vez disso, recomendamos que você use a funcionalidade de destino de dados para gerar todas as tabelas criadas do Dataflow Gen2 para itens do Fabric ou outros destinos, sempre que possível. Isso ocorre porque o conector de fluxo de dados usa uma camada de armazenamento de implementação do sistema subjacente (chamada DataflowsStagingLakehouse) e pode mudar quando novas funcionalidades ou recursos são adicionados.

Cenário de migração 2

Nesse cenário de migração, a organização usa fluxos de dados do Power BI para preparação de dados de autoatendimento para dar suporte a cenários de uso departamental com fluxos de dados compatíveis e tabelas vinculadas em vários workspaces.

Os criadores de fluxo de dados desejam aproveitar as funcionalidades avançadas do Dataflow Gen2 para criação, ao mesmo tempo em que compartilham e geram com eficiência as tabelas de fluxo de dados para um Fabric lakehouse. Esse método aproveita atalhos do OneLake. Os atalhos do OneLake simplificam o gerenciamento de soluções reduzindo a latência do processo tradicionalmente associada a tabelas vinculadas em workspaces e eliminando cópias de dados redundantes.

Para migrar suas soluções, os criadores de fluxo de dados:

  1. Substitua tabelas vinculadas por atalhos do OneLake, que fornecem aos consumidores finais acesso direto aos dados.
  2. Atualize as soluções existentes e as consultas de transição substituindo as funções PowerPlatform.Dataflows ou PowerBI.Dataflows pela função de acesso a dados Lakehouse.Contents no Fabric.

Veja um exemplo de consulta do PowerQuery que foi atualizada para recuperar dados da tabela de dimensão do cliente.

let
  Source = Lakehouse.Contents([]),
  WorkspaceId = Source{[workspaceId="<0000aaaa-11bb-cccc-dd22-eeeeee333333>"]}[Data],
  LakehouseId = WorkspaceId{[lakehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = LakehouseId{[Id="DimCustomer", ItemKind="Table"]}[Data]
in
  DimCustomerTable

Nota

Você pode editar programaticamente expressões de consulta em um modelo semântico do Power BI publicado no Fabric usando o ponto de extremidade XMLA e atualizando a expressão M particionada de uma tabela.

No entanto, lembre-se de que, depois de modificar o modelo semântico usando o ponto de extremidade XMLA, você nunca poderá baixá-lo do serviço do Power BI.

Cenário de migração 3

Nesse cenário de migração, a organização usa fluxos de dados do Power BI para preparação de dados de autoatendimento para dar suporte a cenários de uso departamental com fluxos de dados composíveis em vários workspaces.

Os criadores de fluxo de dados desejam aproveitar os recursos avançados do Dataflow Gen2 para criação, ao mesmo tempo em que geram e compartilham tabelas de fluxo de dados de um armazém do Fabric que tem permissões de usuário granulares. Essa abordagem fornece flexibilidade, e o acesso a dados pode ser implementado com segurança de nível de linha (RLS) , segurança em nível de coluna (CLS) , e máscara de dados dinâmicos (DDM) .

Para migrar suas soluções, os criadores de fluxo de dados:

  1. Conceda acesso a dados por meio das permissões granulares do mecanismo de computação SQL, que fornecem acesso mais seletivo a determinados usuários restringindo o acesso a tabelas e esquemas específicos, bem como implementando RLS e CLS.
  2. Atualize as soluções existentes e as consultas de transição substituindo a função PowerPlatform.Dataflows ou PowerBI.Dataflows pela função de acesso a dados Fabric.Warehouse no Fabric.

Veja um exemplo de consulta do PowerQuery que foi atualizada para recuperar dados da tabela de dimensão do cliente.

let
  Source = Fabric.Warehouse([]),
  WorkspaceId = Source{[workspaceId="0000aaaa-11bb-cccc-dd22-eeeeee333333"]}[Data],
  WarehouseId = WorkspaceId{[warehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = WarehouseId{[Schema="dbo", Item="DimCustomer"]}[Data]
in
  DimCustomerTable

Diretrizes de migração

Recomendamos que você compile um inventário de seus fluxos de dados e itens dependentes. Também recomendamos que você considere usar modelos do Power Query.

Inventário

Para ajudá-lo a planejar sua migração, sua primeira etapa é fazer o inventário de seus fluxos de dados e todas as soluções downstream que dependem deles. Identificar itens dependentes pode ajudar a evitar o tempo de inatividade e a interrupção.

  • Fluxos de dados como fonte no Power BI
    • Use a operação da API REST Fluxos de dados – obter fluxos de dados upstream no grupo para identificar a linhagem e as dependências entre um fluxo de dados que usa tabelas vinculadas. Notavelmente, as tabelas vinculadas podem ter uma profundidade de até 32 referências.
      • Como alternativa, você pode usar a função Labs de Link Semânticolist_upstream_dataflows para simplificar o processo de chamar recursivamente a operação da API REST Get Upstream Dataflows In Group. A função itera em todos os fluxos de dados vinculados até encontrar um registro com um valor vazio, indicando o fim da cadeia.
    • Use a operação da API REST Admin – conjuntos de dados GetDatasetToDataflowsLinksInGroupAsAdmin para compilar um inventário de modelos semânticos do Power BI que usam fluxos de dados em um workspace que poderão exigir atualizações.
    • Use as APIs de scanner do Microsoft Fabric para recuperar as expressões de consulta de mashup de modelos semânticos no locatário. Em seguida, você pode pesquisar as expressões em busca de IDs de fluxo de dados para entender a linhagem completa no locatário.
  • Fluxos de dados como origem no Power Apps
    • Acesse as expressões de consulta mashup da tabela Dataflow nos Fluxos de Dados do Power Platform da Solução de Aplicativos. Você então pode pesquisar as expressões em busca de IDs de fluxo de dados para entender a linhagem completa em aplicativos no locatário. Para saber como instalar e gerenciar aplicativos no Dynamics 365 que são executados no Microsoft Dataverse, consulte Gerenciar Power Apps.
  • fluxos de dados como fonte no Excel
    • Embora as pastas de trabalho do Excel não tenham uma API REST para acompanhar a proveniência e as dependências, você pode usar o Visual Basic for Applications (VBA) e o objeto WorkbookConnection para determinar se a cadeia de conexão contém o texto Provider=Microsoft.Mashup.OleDb.1, que indica uma conexão do Power Query. Além disso, você pode usar a propriedade WorkbookQuery.Formula para extrair fórmulas do Power Query.
    • Depois de acompanhar a linhagem de seus fluxos de dados, recomendamos que você atualize as conexões de fluxo de dados existentes no Excel para itens do Fabric da seguinte maneira:
      • Para acessar o ponto de extremidade de análise de SQL de um lakehouse, repositório ou banco de dados SQL do Fabric, use o conector do SQL Server, que usa a função de acesso a dados Sql.Database.
      • Para acessar o conteúdo do arquivo de lakehouse do Fabric, use o conector de Armazenamento do Azure Data Lake Gen2, que usa a função de acesso a dados AzureStorage.DataLake.
      • Para acessar um banco de dados de eventhouse do Fabric, utilize o conector do Azure Data Explorer, que usa a função de acesso a dados AzureDataExplorer.Contents.

Modelos do Power Query

Templates do Power Query simplificam o processo de transferência de um projeto entre diferentes integrações do Power Query. Eles ajudam a simplificar o que poderia ser uma tarefa complexa e demorada. Os modelos encapsulam todo o projeto do Power Query, incluindo scripts e metadados, em um único arquivo portátil.

Os modelos do Power Query foram projetados para serem compatíveis com várias integrações, como fluxos de dados do Power BI (Gen1) e fluxos de dados do Fabric (Gen2), garantindo uma transição tranquila entre esses serviços.

Conteúdo relacionado

Para obter mais informações sobre este artigo, confira os seguintes recursos:

Os parceiros do Fabric estão disponíveis para ajudar sua organização a ter êxito com o processo de migração. Para engajar um parceiro do Fabric, visite o portal de parceiros do Fabric.