Partager via

Migrer de Dataflow Gen1 vers Dataflow Gen2 : scénarios de migration

  • Article

Cet article présente différents scénarios de migration que vous pouvez prendre en compte lors de la migration de Dataflow Gen1 vers Dataflow Gen2. Il vous fournit également des conseils et des recommandations d’exécution. Ces scénarios peuvent vous inspirer pour déterminer l’approche de migration appropriée en fonction des besoins et des circonstances de votre entreprise.

Lorsque vous migrez vos dataflows, il est important de réfléchir au-delà de la simple copie de solutions existantes. Au lieu de cela, nous vous recommandons de moderniser vos solutions en tirant parti des dernières innovations et fonctionnalités de Dataflow Gen2. Cette approche garantit que vos solutions peuvent prendre en charge les demandes croissantes de l’entreprise.

Par exemple, Dataflow Gen2 dispose d’une fonctionnalité nommée copie rapide, ce qui réduit considérablement le temps nécessaire à l’ingestion de données pour certaines transformations et connecteurs. Dataflow Gen2 a également amélioré le rafraîchissement incrémentiel , ce qui optimise les processus d'actualisation des données en mettant à jour uniquement les données modifiées. Ces avancées permettent non seulement d’améliorer les performances et l’efficacité, mais également de s’assurer que vos solutions sont mises à l’échelle.

Remarque

Les scénarios de migration sont représentatifs des migrations réelles des clients, mais les scénarios clients individuels diffèrent bien sûr.

Cet article ne couvre pas les informations de tarification. Pour plus d’informations sur la tarification, consultez la tarification Fabric.

Important

La consommation du processeur par Dataflow Gen1 et Dataflow Gen2 peut varier pour de nombreuses raisons, comme l'utilisation de nouvelles fonctionnalités dans Dataflow Gen2, y compris la mise en lots de lakehouse et le calcul de l'entrepôt. Nous vous recommandons d’effectuer une analyse approfondie, peut-être comme preuve de concept (POC), pour quantifier la consommation comparative du CPU entre Dataflow Gen1 et Dataflow Gen2 avant que vous ne migriez vos dataflows.

Scénarios de migration

Les flux de données offrent une plateforme polyvalente pour créer des solutions ETL (extraction, transformation et chargement) et ELT (extraction, chargement et transformation) évolutives, répondant à un large éventail de scénarios d'utilisation, de la BI personnelle à la BI d'entreprise.

Voici trois scénarios de migration possibles qui ont inspiré cet article :

  • d’utilisation personnelle ou d’équipe : les petites équipes ou les individus utilisent des flux de données pour automatiser les tâches d’ingestion et de préparation des données, ce qui leur permet de se concentrer sur l’analyse et les insights des données. Par exemple, une équipe peut utiliser des dataflows pour extraire des données de différentes sources telles que Microsoft Excel ou Microsoft SharePoint. Leurs dataflows transforment les données sources en fonction de leurs besoins spécifiques et chargent-les dans un modèle sémantique à des fins de création de rapports.
  • Usage départemental: Les départements au sein d'une organisation utilisent des flux de données pour gérer des sources de données plus volumineuses et des transformations complexes. Ils peuvent créer des dataflows composables qui favorisent la réutilisabilité et la cohérence entre les rapports du ministère, ce qui garantit que tous les membres de l’équipe travaillent sur la même version des données.
  • Usage au niveau de l'entreprise: au niveau de l'entreprise, les flux de données jouent un rôle important dans l'intégration de grandes quantités de données à travers plusieurs services, à grande échelle. Ils servent de couche de préparation des données centralisée qui alimente de nombreux modèles sémantiques, soutenant un large éventail d'applications décisionnelles et analytiques. L'ensemble de l'organisation bénéficie de données fiables et actualisées, ce qui permet une prise de décision éclairée à tous les niveaux.

Dans chacun de ces scénarios, les dataflows aident à créer des solutions ETL/ELT robustes et évolutives qui peuvent croître avec les besoins de l’équipe, du service ou de l’organisation. Les dataflows bien conçus garantissent que les processus de gestion des données restent efficaces et efficaces.

Pour plus d’informations sur les scénarios d’utilisation, consultez planification de l’implémentation de Microsoft Fabric.

Scénario de migration 1

Dans ce scénario de migration, l’organisation utilise des dataflows Power BI pour la préparation des données en libre-service pour prendre en charge les scénarios d’utilisation personnelle ou d’équipe. Les dataflows sont contenus dans un espace de travail unique affecté à une capacité Fabric.

Les créateurs de flux de données souhaitent tirer parti des fonctionnalités avancées de Dataflow Gen2 à des fins de création. En même temps, ils prévoient de continuer temporairement à utiliser des tables de flux de données en tant que source de données pendant une migration par phases. Cette approche garantit une facilité d’utilisation et de connectivité pour les créateurs de contenu qui utilisent des modèles sémantiques Power BI existants, des feuilles de calcul Excel ou des tables Dataverse, au moins jusqu’à ce que la transition vers des sources de destination de données prises en charge soit terminée.

Pour migrer leurs solutions, les créateurs de flux de données :

  1. Mettez à jour l’ID de l’espace de travail si un nouvel espace de travail est créé pour stocker le nouveau flux de données.
  2. Mettez à jour les solutions existantes de l’ID de flux de données d’origine (Gen1) vers le nouvel ID de flux de données (Gen2).

Voici un exemple de requête qui a été mise à jour pour récupérer des données pour une table de dimension de date.

let
    Source = PowerPlatform.Dataflows(null),
    Workspaces = Source{[Id="Workspaces"]}[Data],
    Workspace = Workspaces{[workspaceId="<enter new workspace ID>"]}[Data],
    DataflowId = Workspace{[dataflowId="<enter new dataflow ID"]}[Data],
    DimDateTable = DataflowId{[entity="DimDate", version=""]}[Data]
in
    DimDateTable

Conseil

Si vous paramétrez les valeurs workspaceId et dataflowId dans les modèles sémantiques, vous pouvez utiliser l'opération du jeu de données - Mettre à jour le paramètre dans le groupe d'API REST pour mettre à jour par programmation les détails du paramètre mashup.

Important

Bien qu’il soit possible d'obtenir des données à l’aide du connecteur de flux de données, cette méthode est déconseillée lors de l’utilisation de Dataflow Gen2. Au lieu de cela, nous vous recommandons d’utiliser la fonctionnalité de destination des données pour générer toutes les tables créées de Dataflow Gen2 vers des éléments Fabric ou d’autres destinations, dans la mesure du possible. Cela est dû au fait que le connecteur de flux de données utilise une couche de stockage d’implémentation système sous-jacente (appelée DataflowsStagingLakehouse), et peut changer quand de nouvelles fonctionnalités ou fonctionnalités sont ajoutées.

Scénario de migration 2

Dans ce scénario de migration, l'organisation utilise des dataflows Power BI pour la préparation des données en libre-service afin de prendre en charge les scénarios d'utilisation départementale avec des dataflows composables et des tables liées à travers plusieurs espaces de travail.

Les créateurs de flux de données souhaitent tirer parti des fonctionnalités avancées de Dataflow Gen2 pour la création, tout en partageant et en exportant efficacement les tables de flux de données vers un lakehouse Fabric. Cette méthode tire parti de raccourcis OneLake. Les raccourcis OneLake simplifient la gestion des solutions en réduisant la latence du processus traditionnellement associée aux tables liées entre les espaces de travail et en éliminant les copies de données redondantes.

Pour migrer leurs solutions, les créateurs de flux de données :

  1. Remplacez les tables liées par les raccourcis OneLake, qui fournissent aux consommateurs en aval un accès direct aux données.
  2. Mettez à jour les solutions existantes et les requêtes de transition en remplaçant les fonctions PowerPlatform.Dataflows ou PowerBI.Dataflows par la fonction d’accès aux données Lakehouse.Contents dans Fabric.

Voici un exemple de requête PowerQuery qui a été mise à jour pour récupérer des données à partir de la table de dimension client.

let
  Source = Lakehouse.Contents([]),
  WorkspaceId = Source{[workspaceId="<0000aaaa-11bb-cccc-dd22-eeeeee333333>"]}[Data],
  LakehouseId = WorkspaceId{[lakehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = LakehouseId{[Id="DimCustomer", ItemKind="Table"]}[Data]
in
  DimCustomerTable

Remarque

Vous pouvez modifier par programmation des expressions de requête dans un modèle sémantique Power BI publié dans Fabric à l’aide de l'point de terminaison XMLA, et en mettant à jour l’expression M partitionnée d’une table.

Toutefois, sachez qu’une fois que vous modifiez le modèle sémantique à l’aide du point de terminaison XMLA, vous ne pourrez jamais le télécharger à partir du service Power BI.

Scénario de migration 3

Dans ce scénario de migration, l’organisation utilise des dataflows Power BI pour la préparation des données en libre-service pour prendre en charge les scénarios d’utilisation des services avec des dataflows composables sur plusieurs espaces de travail.

Les créateurs de flux de données souhaitent tirer parti des fonctionnalités avancées de Dataflow Gen2 pour la création, tout en démettant et partageant des tables de flux de données à partir d’un entrepôt Fabric disposant d’autorisations utilisateur granulaires. Cette approche offre une flexibilité et l’accès aux données peut être implémenté avec sécurité au niveau des lignes (RLS), sécurité au niveau des colonnes (CLS)et masquage dynamique des données (DDM).

Pour migrer leurs solutions, les créateurs de flux de données :

  1. Accordez l’accès aux données par le biais des autorisations granulaires du moteur de calcul SQL, ce qui offre un accès plus sélectif à certains utilisateurs en limitant l’accès à des tables et schémas spécifiques, ainsi qu’à l’implémentation de RLS et CLS.
  2. Mettez à jour les solutions existantes et les requêtes de transition en remplaçant la fonction PowerPlatform.Dataflows ou PowerBI.Dataflows par la fonction d’accès aux données Fabric.Warehouse dans Fabric.

Voici un exemple de requête PowerQuery qui a été mise à jour pour récupérer des données à partir de la table de dimension client.

let
  Source = Fabric.Warehouse([]),
  WorkspaceId = Source{[workspaceId="0000aaaa-11bb-cccc-dd22-eeeeee333333"]}[Data],
  WarehouseId = WorkspaceId{[warehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = WarehouseId{[Schema="dbo", Item="DimCustomer"]}[Data]
in
  DimCustomerTable

Conseils sur la migration

Nous vous recommandons de compiler un inventaire de vos dataflows et éléments dépendants. Nous vous recommandons également d’utiliser des modèles Power Query.

Inventaire

Pour vous aider à planifier votre migration, votre première étape consiste à effectuer l’inventaire de vos flux de données et à toutes les solutions en aval qui en dépendent. L’identification des éléments dépendants peut aider à éviter les temps d’arrêt et les interruptions.

  • Les Dataflows en tant que source dans Power BI
    • Utilisez l'opération de l'API REST Dataflows - Obtenir des flux de données en amont dans le groupe pour identifier la lignée et les dépendances d'un flux de données qui utilise des tables liées. Notamment, les tables liées peuvent avoir une profondeur allant jusqu’à 32 références.
      • Vous pouvez également utiliser la fonction Semantic Link Labslist_upstream_dataflows pour simplifier le processus d’appel récursif à l’opération de l’API REST Get Upstream Dataflows In Group. La fonction itère sur tous les flux de données liés jusqu’à ce qu’elle rencontre un enregistrement avec une valeur vide, indiquant la fin de la chaîne.
    • Utilisez l'opération API REST Admin - Datasets GetDatasetToDataflowsLinksInGroupAsAdmin pour dresser un inventaire des modèles sémantiques Power BI qui utilisent des flux de données au sein d'un espace de travail qui nécessitera des mises à jour.
    • Utilisez les API du scanner Microsoft Fabric pour récupérer les expressions de requête mashup des modèles sémantiques dans le locataire. Vous pouvez ensuite rechercher dans les expressions des ID de flux de données pour comprendre la traçabilité complète sur le tenant.
  • Flux de données en tant que source dans Power Apps
    • Accédez aux expressions de requête mashup à partir de la table Dataflow dans l'app Solution Power Platform Dataflows. Vous pouvez ensuite rechercher les expressions contenant des ID de flux de données pour comprendre la traçabilité complète entre les applications au sein du locataire. Pour savoir comment installer et gérer des applications dans Dynamics 365 qui s’exécutent sur Microsoft Dataverse, consultez Gérer Power Apps.
  • Dataflows en tant que source dans Excel
    • Bien que les classeurs Excel n’aient pas d’API REST pour suivre la traçabilité et les dépendances, vous pouvez utiliser Visual Basic pour Applications (VBA) et l’objet WorkbookConnection pour déterminer si la chaîne de connexion contient le texte Provider=Microsoft.Mashup.OleDb.1, ce qui indique une connexion Power Query. En outre, vous pouvez utiliser la propriété WorkbookQuery.Formula pour extraire des formules Power Query.
    • Après avoir suivi la traçabilité de vos dataflows, nous vous recommandons de mettre à jour les connexions de flux de données existantes dans Excel pour Les éléments Fabric comme suit :
      • Pour accéder au point de terminaison d’analytique SQL d’une base de données Fabric lakehouse, warehouse ou SQL, utilisez le connecteur SQL Server, qui utilise la fonction d’accès aux données Sql.Database.
      • Pour accéder au contenu des fichiers du Fabric lakehouse, utilisez le connecteur de stockage Azure Data Lake Gen2 , qui utilise la fonction d’accès aux données AzureStorage.DataLake.
      • Pour accéder à une base de données d’eventhouse Fabric, utilisez le connecteur Azure Data Explorer, qui utilise la fonction d’accès aux données AzureDataExplorer.Contents.

Modèles Power Query

Les modèles Power Query simplifient le processus de transfert d’un projet entre différentes intégrations Power Query. Ils aident à simplifier ce qui pourrait autrement être une tâche complexe et fastidieuse. Les modèles encapsulent l’ensemble du projet Power Query, y compris les scripts et les métadonnées, dans un seul fichier portable.

Les modèles Power Query ont été conçus pour être compatibles avec différentes intégrations, telles que les dataflows Power BI (Gen1) et les dataflows Fabric (Gen2), ce qui garantit une transition fluide entre ces services.

Contenu connexe

Pour plus d’informations sur cet article, consultez les ressources suivantes :

Les partenaires fabric sont disponibles pour aider votre organisation à réussir avec le processus de migration. Pour engager un partenaire Fabric, visitez le portail Fabric des partenaires .