Créer un espace de travail Fabric pour FinOps

Cet article vous guide tout au long de la création et de la configuration d’un espace de travail Microsoft Fabric pour FinOps. Il fournit un guide pas à pas pour créer et configurer l’installation d’Azure Data Lake Storage (ADLS), l’exportation de données, la création d’espace de travail et l’ingestion de données. Une fois terminé, vous pouvez utiliser Power BI pour générer des rapports.

Prérequis

Avant de commencer, vous devez disposer des éléments suivants :

• Un abonnement Azure payant avec des informations sur le coût et l’utilisation
• Propriétaire d’un compte de stockage ou avoir accès à accorder des autorisations au compte de stockage
• Vous devez avoir le rôle Contributeur aux données Blob de stockage lorsque vous utilisez l’authentification du compte d’organisation. Si vous n’avez pas l’autorisation requise, vous pouvez utiliser d’autres types d’authentification tels que la clé de compte. Sinon, vous obtenez une Invalid credentials erreur.

Pour effectuer cette procédure pas à pas, vous créez les ressources suivantes qui entraînent des coûts :

• Un compte Azure Data Lake Storage Gen2
• Un espace de travail Power BI
• Un espace de travail Fabric

Créer et configurer Azure Data Lake Storage

Microsoft Fabric est optimisé pour fonctionner avec des comptes de stockage avec un espace de noms hiérarchique activé, également appelé Azure Data Lake Storage Gen2. Vous avez deux options pour obtenir un compte de stockage Data Lake :

• Option 1 : Pour créer un compte de stockage Data Lake, consultez Créer un compte de stockage pour Azure Data Lake Storage Gen2.
• Option 2 : Pour activer l’espace de noms hiérarchique sur un compte de stockage existant, consultez Mettre à niveau Stockage Blob Azure avec les fonctionnalités Azure Data Lake Storage Gen2.

Conseil

Si vous avez déployé des hubs FinOps, vous pouvez utiliser le compte de stockage créé dans le cadre du groupe de ressources hub.

Pour l’exemple suivant, nous avons utilisé le compte de stockage Data Lake Gen 2 suivant. Vous utilisez vos propres détails de compte de stockage et d’abonnement.

• Abonnement = Abonnement Contoso.
• Compte de stockage = Contoso-storage-account.

Exporter des données de coûts

Étant donné que nous créons un espace de travail optimisé pour FinOps, nous exportons les données de coût à l’aide de finOps Open Cost and Usage Specification (FOCUS), un format de données indépendant du fournisseur pour les détails du coût. Tous nos exemples utilisent FOCUS, mais vous pouvez également utiliser des exportations de coûts réelles ou amorties existantes sur lesquelles le remplacement de fichiers est activé.

Pour plus d’informations sur FOCUS et ses avantages, consultez Qu’est-ce que FOCUS. La Fondation FinOps offre également une présentation gratuite du cours FOCUS. Les solutions Power BI de Microsoft pour FinOps sont alignées sur FOCUS.

Pour créer une exportation, consultez Créer des exportations.

Voici les étapes générales pour créer une exportation :

1. Connectez-vous au Portail Azure à l’adresse https://portal.azure.com, recherchez Cost Management.
2. Sélectionnez l’étendue requise et sélectionnez Exportations dans le menu de navigation de gauche.
3. Sélectionnez + Créer
4. Sous l’onglet Informations de base, sélectionnez le modèle = Coût et utilisation (FOCUS)
5. Sous l’onglet Jeux de données, renseignez le préfixe Exporter pour vous assurer que vous disposez d’un nom unique pour l’exportation. Par exemple, june2024focus.
6. Sous l’onglet Destination, sélectionnez :
   • Type de stockage = Stockage Blob Azure
   • Destination et stockage = Utiliser l’existant
   • Abonnement = Abonnement Contoso
   • Compte de stockage = Contoso-storage-account
   • Conteneur = msexports
   • Directory = focuscost/<scope-id>
   • Remplacer les données = Activé
7. Sous l’onglet Vérifier + Créer, sélectionnez Créer.
8. Exécutez l’exportation en sélectionnant Exécuter maintenant sur la page d’exportation.

Vérifiez que votre exportation est terminée et que le fichier est disponible avant de passer à l’étape suivante.

Important

Les exportations Cost Management utilisent l’identité managée. Pour créer une exportation, vous devez être propriétaire du compte de stockage ou avoir accès à accorder des autorisations au compte de stockage. Pour afficher toutes les autorisations requises, consultez Conditions préalables.

Si vous souhaitez automatiser la création d’exportation, envisagez d’utiliser la commande New-FinOpsCostExport dans le module PowerShell du kit de ressources FinOps.

Si vous avez déployé des hubs FinOps, vous pouvez ignorer cette étape et utiliser les données traitées dans le stockage hub.

Créer un espace de travail Fabric

Si vous disposez déjà d’un espace de travail Microsoft Fabric, vous pouvez ignorer la création d’un espace de travail, sauf si vous souhaitez séparer vos ressources FinOps des autres.

Si vous n’avez pas configuré Microsoft Fabric, consultez Activer Microsoft Fabric pour votre organisation.

1. Connectez-vous à l’application Fabric à l’aide de votre compte Fabric gratuit ou de votre compte Microsoft Power BI.
2. Vous pouvez créer un espace de travail pour vos ressources FinOps ou choisir d’utiliser un espace de travail existant. Pour créer un espace de travail, consultez Créer un espace de travail.

Si vous débutez avec Microsoft Fabric ou si la capacité fabric n’est pas activée, consultez la version d’évaluation de Fabric. Si les essais fabric sont désactivés, vous devrez peut-être créer une capacité Fabric.

La capacité de l’infrastructure nontriale entraîne des frais pour votre organisation. Consultez la tarification de Microsoft Fabric.

Voici un exemple de capture d’écran montrant un nouvel espace de travail Fabric créé.

Créer un lakehouse

Les lakehouses Microsoft Fabric sont des architectures de données qui permettent aux organisations de stocker et de gérer des données structurées et non structurées dans un emplacement unique. Ils utilisent différents outils et infrastructures pour traiter et analyser ces données. Ces outils et infrastructures peuvent inclure des requêtes et des analyses basées sur SQL, le Machine Learning et d’autres techniques d’analytique avancées.

Vous pouvez créer un lac ou en utiliser un existant. Les lakehouses sont interopérables de sorte que nous vous recommandons généralement d’utiliser une seule lakehouse pour tous vos jeux de données FinOps. Un seul lakehouse conserve les informations associées pour partager des modèles de données, des pipelines et des mesures de sécurité.

Pour créer un lakehouse dans l’espace de travail Fabric de votre choix :

1. Connectez-vous à l’application Fabric à l’aide de votre compte Fabric gratuit ou de votre compte Microsoft Power BI.
2. Sélectionnez l’espace de travail dans lequel vous souhaitez créer le lakehouse.
3. En haut à gauche de la page, sélectionnez + Nouveau , puis sélectionnez Autres options.
   
4. Sélectionner Lakehouse
   

Pour plus d’informations, consultez Créer un lakehouse.

Créer un raccourci vers le stockage

Les raccourcis dans lakehouse vous permettent de référencer des données sans les copier. Il unifie les données provenant de différents lakehouses, espaces de travail ou stockage externe, comme Data Lake Gen2 ou Amazon Web Services (AWS) S3. Vous pouvez rapidement mettre à disposition localement de grandes quantités de données dans votre Lakehouse sans la latence de la copie des données à partir de la source.

Pour créer un raccourci, consultez Créer un raccourci Azure Data Lake Storage Gen2.

1. Connectez-vous à l’application Fabric à l’aide de votre compte Fabric gratuit ou de votre compte Microsoft Power BI.
2. Sélectionnez le lac de votre choix.
3. Sélectionnez les points de suspension (...) en regard de Fichiers.
   Vous ajoutez des fichiers CSV et Parquet sous Fichiers. Les tables delta sont ajoutées sous Tables.
4. Sélectionnez Nouveau raccourci.
   
5. Sélectionnez Azure Data Lake Storage Gen2 et fournissez les paramètres suivants :
   • URL = URL Data Lake Storage du compte de stockage Data Lake. Consultez la note suivante sur l’authentification.
   • Connexion = Créer une connexion
   • Nom de connexion = <N’importe quel nom de votre choix>
   • Type d’authentification = Compte organisationnel
   • Connectez-vous lorsque vous y êtes invité.

Voici un exemple de capture d’écran montrant les nouveaux paramètres de connexion de raccourci.

Pour obtenir l’URL Data Lake Storage, affichez le compte de stockage où l’exportation a créé un répertoire et le fichier de coût FOCUS. Sous Paramètres, sélectionnez Points de terminaison. Copiez l’URL marquée comme Data Lake Storage.

Voici un exemple de capture d’écran montrant l’URL Data Lake Storage sur la page Points de terminaison .

Copier des données dans Fabric

Après avoir créé le raccourci, vous pouvez afficher les données de coût FOCUS dans les fichiers. Vous pouvez charger les données directement dans une structure avec l’une des méthodes suivantes, en fonction de vos besoins. Les onglets suivants fournissent deux options :

Ingestion manuelle des données

Une fois le raccourci créé, vous pouvez afficher les données de coût FOCUS dans les fichiers. Vous pouvez charger les données directement dans une table Fabric en procédant comme suit.

1. Dans le lakehouse, recherchez le répertoire que vous avez créé lors de la configuration de l’exportation. Le répertoire se trouve dans la section Fichiers .
2. En regard du répertoire, sélectionnez les points de suspension (...), puis sélectionnez >
   
   1. Nom de la table = <Tout nom valide>
   2. Type de fichier = CSV
   3. Inclure des sous-dossiers = Activé
   4. Utiliser l’en-tête pour les noms de colonnes = Activé
   5. Séparateur = ,
   6. Sélectionner Charger

Pour plus d’informations, consultez Les tables Lakehouse Load to Delta Lake.

Ce processus crée une table basée sur le fichier CSV/Parquet. Pour un processus automatisé d’ingestion de données à l’aide de notebooks, consultez l’onglet Automatiser l’ingestion des données.

Voici un exemple de capture d’écran montrant les données de la table Lakehouse.

Automatiser l’ingestion des données

Pour plus d’informations sur l’automatisation du processus d’ingestion de données dans des tables Fabric, consultez Comment utiliser des notebooks.

Les étapes principales sont les suivantes :

1. Ouvrez l’instance lakehouse.
2. Sélectionnez Ouvrir le bloc-notes Nouveau bloc-notes>. Un nouveau bloc-notes peut être masqué derrière un symbole de dépassement de menu (...)
3. Sélectionnez le notebook PySpark (Python) et collez l’exemple de script Python suivant.
4. Remplacez par read_path<abs-folder-path>. Vous trouverez le chemin du pilote ABFS (Blob Filesystem) Azure en accédant au chemin souhaité. Sélectionnez les points de suspension (...), puis sélectionnez Copier le chemin ABFS, comme illustré dans la capture d’écran suivante.
   
5. Remplacez export_table par le nom de la table que vous souhaitez créer.
6. L’exécution du script ingère les données dans Fabric.
7. Vous pouvez créer une planification pour automatiser l’exécution du script qui entraîne l’automatisation du pipeline d’ingestion de données.
8. Pour créer une planification d’automatisation quotidienne, sélectionnez le symbole d’engrenage dans le menu de gauche, puis sélectionnez l’option Planification .
   

Exemple de script Python

Utilisez le script Python suivant à l’étape 3 ci-dessus pour ingérer des données dans des tables Fabric.

#!/usr/bin/env python
# coding: utf-8

# ## Sample Read CSV to Delta Output
# 
# Exports Platform Demo Notebook

# # Export to Delta Parquet

# In[1]:
read_path = '<USER INPUT>' # input path to your data stream
export_table = '<USER INPUT>' # output path for your delta parquet table, ex: "Tables/CostDetails" 

# In[3]:
df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
     
''' Use this for parquet reading 
df = spark.read.format("parquet").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
''' 

# In[4]:
''' Use this if you want to overwrite the schema as well 
df.write.mode("overwrite").format("delta").option("overwriteSchema", "true").save(export_table) 
''' 
df.write.mode("overwrite").format("delta").save(export_table) 

Créer un rapport Power BI

Une fois que les données sont ingérées dans Fabric et que les tables sont prêtes, vous pouvez passer à la création de rapports.

1. Connectez-vous à l’application Fabric à l’aide de votre compte Fabric gratuit ou de votre compte Microsoft Power BI.
2. Sélectionnez l’espace de travail où vous avez créé la lakehouse, puis sélectionnez la lakehouse.
3. Dans le volet Explorateur, sélectionnez Tables , puis sélectionnez la table que vous avez créée.
4. En haut de la page, sélectionnez Nouveau modèle sémantique et nommez le modèle. Pour plus d’informations, consultez Modèles sémantiques Power BI par défaut.
5. Sélectionnez le symbole Power BI en bas à gauche.
6. Sélectionnez le même modèle sémantique pour générer des rapports, puis utilisez Copilot pour générer des insights à partir de vos données ingérées.

Remarque

La démonstration Power BI utilise des données de coût simulées à des fins d’illustration.

Contenu connexe

Produits connexes :

• Cost Management

Solutions connexes :

• Hubs FinOps
• Rapports Power BI du kit de ressources FinOps