Comment utiliser les notebooks Microsoft Fabric

Le notebook Microsoft Fabric est un élément de code principal pour le développement de travaux Apache Spark et d’expériences de Machine Learning. Il s’agit d’une surface interactive web utilisée par les scientifiques des données et les ingénieurs données pour écrire du code bénéficiant de visualisations enrichies et de texte Markdown. Les ingénieurs données écrivent du code pour l’ingestion des données, la préparation des données et la transformation des données. Les scientifiques des données utilisent également des notebooks pour créer des solutions d’apprentissage automatique, notamment la création d’expériences et de modèles, le suivi des modèles et le déploiement.

Avec un notebook Fabric, vous pouvez :

• Commencer à travailler sans le moindre effort de configuration.
• Explorez et traitez facilement les données avec une expérience intuitive à faible code.
• Sécuriser les données avec des fonctionnalités de sécurité d’entreprise intégrées.
• Analyser les données dans des formats bruts (CSV, txt, JSON, etc.), des formats de fichiers traités (parquet, Delta Lake, etc.), à l’aide des puissantes fonctionnalités de Spark.
• Être productif grâce à des fonctionnalités de création améliorées et à la visualisation de données intégrée.

Cet article explique comment utiliser des notebooks dans les expériences de science des données et d’engineering données.

Contexte de sécurité de l’exécution du notebook

L’exécution d’un notebook peut être déclenchée de trois manières différentes dans Fabric avec une flexibilité totale pour répondre à différents scénarios :

• Exécution interactive : l’utilisateur déclenche manuellement l’exécution via les différentes entrées d’expérience utilisateur ou appelle l’API REST. L’exécution s’exécuterait sous le contexte de sécurité de l’utilisateur actuel.
• Exécuter comme activité de pipeline : l’exécution est déclenchée à partir du pipeline Fabric Data Factory. Vous trouverez les étapes détaillées dans l’activité Notebook. L’exécution s’exécuterait sous le contexte de sécurité du propriétaire du pipeline.
• Planificateur : l’exécution est déclenchée à partir d’un plan de planificateur. L’exécution s’exécuterait sous le contexte de sécurité de l’utilisateur qui configure/met à jour le plan du planificateur.

La flexibilité de ces options d’exécution avec un contexte de sécurité différent vous permet de répondre à différents scénarios et exigences, mais vous oblige également à connaître le contexte de sécurité lorsque vous concevez et développez votre notebook, sinon il peut provoquer un comportement inattendu et même certains problèmes de sécurité.

La première fois qu’un notebook est créé, un message d’avertissement s’affiche pour vous rappeler le risque d’exécuter le code sans l’examiner.

Voici quelques meilleures pratiques pour vous aider à éviter les problèmes de sécurité :

• Avant d’exécuter manuellement le notebook, ouvrez le paramètre Notebook et vérifiez la section Détails sous le panneau À propos pour la mise à jour de modification, puis vérifiez que vous êtes d’accord avec la dernière modification.
• Avant d’ajouter une activité de notebook à un pipeline, ouvrez le paramètre Notebook et vérifiez la section Détails sous le panneau À propos pour la mise à jour de modification, puis vérifiez que vous êtes d’accord avec la dernière modification. Si vous n’êtes pas sûr de la dernière modification, ouvrez le Notebook pour passer en revue la modification avant de l’ajouter dans le pipeline.
• Avant de mettre à jour le plan du planificateur, ouvrez le paramètre Notebook et vérifiez la section Détails sous le panneau À propos pour la mise à jour de modification, puis vérifiez que vous êtes d’accord avec la dernière modification. Si vous n’êtes pas sûr de la dernière modification, ouvrez le Notebook pour passer en revue la modification avant de mettre à jour le plan du planificateur.
• Séparez l’espace de travail en différentes phases (dev, test, prod) et contrôlez l’accès des différentes phases pour éviter les problèmes de sécurité. Ajoutez uniquement l’utilisateur qui vous approuve pour la phase prod.

Créer des notebooks

Vous pouvez créer un notebook ou importer un notebook existant.

Créer une nouvelle instance Notebook

Comme pour d’autres processus de création d’éléments Fabric standard, vous pouvez facilement créer un notebook à partir de la page d’accueil Ingénieurs de données Fabric, de l’option d’espace de travail Nouveau ou du Hub de création.

Importer des notebooks existants

Vous pouvez importer un ou plusieurs notebooks existants à partir de votre ordinateur local à l’aide de l’entrée dans la barre d’outils de l’espace de travail. Les notebooks Fabric reconnaissent les fichiers .ipynb Jupyter Notebook standard et les fichiers sources tels que .py, .scala et .sql, et créent de nouveaux éléments de notebook en conséquence.

Exporter un notebook

Vous pouvez exporter votre notebook vers d’autres formats standard. Les notebooks peuvent être exportés aux formats suivants :

• Le fichier de notebook standard(.ipynb) utilisé pour les notebooks Jupyter.
• Un fichier HTML(.html) qui peut être ouvert directement à partir d’un navigateur.
• Un fichier Python (.py).
• Un fichier Latex (.tex).

Enregistrer un notebook

Dans Fabric, un notebook est automatiquement sauvegardé par défaut lorsque vous l'ouvrez et le modifiez ; vous n'avez donc pas à vous soucier de perdre les modifications apportées au code. Vous pouvez également utiliser Enregistrer une copie pour cloner une autre copie dans l’espace de travail actuel ou dans un autre espace de travail.

Si vous préférez enregistrer manuellement un notebook, vous pouvez basculer vers l’option d’enregistrement Manuel pour avoir une branche locale de votre élément de notebook, puis utiliser Enregistrer ou CTRL+s pour enregistrer vos modifications.

Vous pouvez également basculer vers le mode d’enregistrement manuel en sélectionnant Modifier ->Options d’enregistrement->Manuel. Pour activer une branche locale de votre notebook, enregistrez-la manuellement, sélectionnez Enregistrer ou utilisez le raccourci clavier Ctrl+s.

Connecter des lakehouses et des notebooks

Les notebooks Fabric prennent désormais en charge les interactions étroites avec les lakehouses ; vous pouvez facilement ajouter un Lakehouse, nouveau ou existant, à partir de l’Explorateur Lakehouse.

Vous pouvez accéder à différents lakehouses dans l’Explorateur Lakehouse et définir un lakehouse comme emplacement par défaut en l’épinglant. Votre choix par defaut est alors monté dans le répertoire de travail du runtime, et vous pouvez lire ou écrire dans le lakehouse par défaut à l’aide d’un chemin d’accès local.

Remarque

Vous devez redémarrer la session après avoir épinglé un nouveau lakehouse ou renommé le lakehouse par défaut.

Ajouter ou supprimer un lakehouse

La sélection de l’icône X à côté d’un nom lakehouse la supprime de l’onglet notebook, mais l’élément lakehouse existe toujours dans l’espace de travail.

Sélectionnez Ajouter lakehouse pour ajouter d’autres lakehouses au notebook, soit en ajoutant un existant, soit en créant un lakehouse.

Explorer un fichier lakehouse

Le sous-dossier et les fichiers sous la section Tables et fichiers de la vue Lac s’affichent dans une zone de contenu située entre la liste lakehouse et le contenu du notebook. Sélectionnez différents dossiers dans la section Tables et Fichiers pour actualiser la zone de contenu.

Opérations de dossier et de fichier

Si vous sélectionnez un fichier (.csv, .parquet, .txt, .jpg, .png, etc.) avec un clic droit, vous pouvez utiliser l’API Spark ou Pandas pour charger les données. Une nouvelle cellule de code est générée et insérée sous la cellule focus.

Vous pouvez facilement copier un chemin d’accès avec un format différent du fichier ou dossier sélectionné et utiliser le chemin d’accès correspondant dans votre code.

Ressources de Notebook

L’explorateur de ressources de notebook fournit un système de fichiers de type Unix pour vous aider à gérer vos dossiers et fichiers. Il offre un espace de système de fichiers pouvant être écrit où vous pouvez stocker des fichiers de petite taille, tels que des modules de code, des modèles sémantiques et des images. Vous pouvez facilement y accéder avec du code dans le notebook comme si vous travailliez avec votre système de fichiers local.

Remarque

• Les ressources de stockage maximales pour les dossiers intégrés et les dossiers d’environnement sont de 500 Mo, la taille d’un seul fichier pouvant atteindre 100 Mo. Ils autorisent tous deux jusqu’à 100 instances de fichier/dossier au total.
• Lorsque vous utilisez notebookutils.notebook.run(), utilisez la commande notebookutils.nbResPath pour accéder à la ressource de notebook cible. Le chemin relatif builtin/ pointe toujours vers le dossier intégré du notebook racine.

Dossier de ressources intégrées

Le dossier de ressources intégrées est un dossier prédéfini système pour chaque instance d’élément de notebook. Voici les principales fonctionnalités des ressources de notebook.

• Vous pouvez utiliser des opérations courantes telles que la création/suppression, le chargement/le téléchargement, le glisser-déplacer, le renommage, le dupliquer et la recherche dans l’interface utilisateur.
• Vous pouvez utiliser des chemins relatifs comme builtin/YourData.txt pour une exploration rapide. La méthode notebookutils.nbResPath vous aide à composer le chemin d’accès complet.
• Vous pouvez facilement déplacer vos données validées vers un lakehouse via l’option Écrire dans Lakehouse. Fabric a incorporé des extraits de code enrichi pour les types de fichiers courants pour vous aider à démarrer rapidement.
• Ces ressources sont également disponibles pour être utilisées dans le cas d’exécution du notebook de référence via notebookutils.notebook.run().

Dossier de ressources d’environnement

Le dossier de ressources de l’environnement est un référentiel partagé conçu pour simplifier la collaboration entre plusieurs notebooks.

• Vous pouvez trouver l’onglet Ressources dans l’environnement et disposez des opérations complètes pour gérer les fichiers de ressources. Ces fichiers peuvent être partagés entre plusieurs notebooks une fois que le notebook est attaché à l’environnement actuel.

  

• Sur la page Notebook, vous pouvez facilement trouver un deuxième dossier racine sous Ressources héritées de l’environnement attaché.

  

• Vous pouvez également utiliser les fichiers/dossiers de la même façon que le dossier Ressources intégrées.

• Le chemin d’accès aux ressources d’environnement est automatiquement monté sur le cluster du notebook, vous pouvez utiliser le chemin d’accès relatif /env pour accéder aux ressources de l’environnement.

Éditeur de fichiers

La fonctionnalité éditeur de fichiers vous permet d’afficher et de modifier des fichiers directement dans le dossier de ressources et le dossier de ressources d’environnement du notebook. Les types de fichiers pris en charge incluent CSV, TXT, HTML, YML, PY, SQL, etc. Avec l’éditeur de fichiers, vous pouvez facilement accéder et modifier des fichiers dans le notebook. Il prend en charge la mise en surbrillance des mots clés et fournit le service de langage nécessaire lors de l’ouverture et de la modification de fichiers de code comme .py et .sql.

• Vous pouvez accéder à cette fonctionnalité via « Afficher et modifier » dans le menu fichier. Double-cliquer sur le fichier est un moyen plus rapide.

  

• La modification du contenu dans l’éditeur de fichiers doit être enregistrée manuellement en cliquant sur le bouton Enregistrer ou via le raccourci clavier Ctrl+S. L’éditeur de fichiers ne prend pas en charge l’enregistrement automatique.

• L’éditeur de fichiers est également affecté par le mode notebook. Vous ne pouvez que visualiser les fichiers, mais pas les modifier si vous êtes en mode notebook et que vous n’avez pas l’autorisation d’éditer.

Remarque

Voici quelques limitations pour l’éditeur de fichiers.

• La taille maximale de fichier est de 1 Mo.
• Ces types de fichiers ne sont pas pris en charge pour l’affichage et la modification : .xlsx et .parquet.

Collaborer dans un notebook

Le notebook Fabric est un élément collaboratif qui prend en charge plusieurs utilisateurs qui modifient le même notebook.

Lorsque vous ouvrez un notebook, vous entrez en mode de co-édition par défaut, et chaque modification du notebook est automatiquement enregistrée. Si vos collègues ouvrent le même notebook en même temps, vous voyez leur profil, leur sortie d’exécution, leur indicateur de curseur, leur indicateur de sélection et leur trace de modification. En utilisant les fonctionnalités de collaboration, vous pouvez facilement accomplir des scénarios de programmation en binôme, de débogage à distance et de tutorat.

Partager un notebook

Le partage d'un notebook est un moyen pratique de collaborer avec les membres d'équipe. Les rôles d'espace de travail autorisés peuvent afficher ou modifier/exécuter des notebooks par défaut. Vous pouvez partager un notebook avec des autorisations spécifiées.

1. Sélectionnez Partager dans la barre d’outils du notebook.

   

2. Sélectionnez la catégorie correspondante des personnes qui peuvent consulter ce notebook. Vous pouvez choisir les autorisations Partager, Modifier ou Exécuter pour les destinataires.

   

3. Une fois que vous avez sélectionné Appliquer, vous pouvez envoyer le notebook directement ou copier le lien pour d’autres personnes. Les destinataires peuvent ensuite ouvrir le notebook avec la vue correspondant à leur niveau d’autorisation.

   

4. Pour gérer davantage vos autorisations de notebook, sélectionnez Liste d’éléments d’espace de travail>Plus d’options, puis sélectionnez Gérer les autorisations. À partir de cet écran, vous pouvez mettre à jour l’accès et les autorisations existants du notebook.

   

Commentaire d’une cellule de code

Les commentaires sont une autre fonctionnalité utile pour les scénarios collaboratifs. Actuellement, Fabric prend en charge l’ajout de commentaires au niveau de la cellule.

1. Sélectionnez le bouton Commentaires dans la barre d’outils du notebook ou l’indicateur commentaire de cellule pour ouvrir le volet Commentaires.

   

2. Sélectionnez le code dans la cellule de code, sélectionnez Nouveau dans le volet Commentaires, ajoutez des commentaires, puis sélectionnez Poster le commentaire pour l’enregistrer.

   

3. Si vous en avez besoin, recherchez les options Modifier le commentaire, Résoudre la conversation et Supprimer la conversation en sélectionnant l’option Plus à côté de votre commentaire.

Balisage d’autres personnes dans un commentaire

Le « balisage » fait référence à la mention et à la notification d’un utilisateur dans un fil de commentaires, ce qui améliore efficacement la collaboration sur des éléments précis.

1. Sélectionnez une section de code dans une cellule et un nouveau fil de commentaires.

2. Entrez le nom d’utilisateur et choisissez le nom d’utilisateur approprié dans la liste de suggestions si vous souhaitez mentionner quelqu’un pour discuter d’une certaine section.

3. Partagez vos insights et publiez-les.

4. Une notification par e-mail est déclenchée et l’utilisateur clique sur le lien Ouvrir les commentaires pour localiser rapidement cette cellule.

5. En outre, autorisez et configurez les autorisations pour les utilisateurs lors du balisage d’une personne qui n’a pas d’accès, ce qui garantit que vos ressources de code sont bien gérées.

Remarque

Pour un élément de commentaire, l’utilisateur balisé ne recevra plus de notification par e-mail si vous mettez à jour le commentaire dans un délai d’une heure. Toutefois, le nouvel utilisateur étiqueté recevra une notification par e-mail.

Sélecteur de mode Notebook

Les notebooks Fabric prennent en charge quatre modes vers lesquels vous pouvez facilement basculer : le mode Développer, le modeExécuter uniquement, le mode Édition et le mode Affichage. Chaque mode est mappé à une combinaison d’autorisations spécifique. Lorsque vous partagez le notebook à d’autres membres de l’équipe, vous pouvez accorder des autorisations appropriées aux destinataires, et ils verront le meilleur mode de notebook disponible en fonction de leur autorisation. Ils pourront basculer entre les modes pour lesquels ils disposent d’une autorisation.

• Mode Développer : autorisations de lecture, d’exécution et d’écriture nécessaires.
• Mode Exécuter uniquement : autorisations de lecture et d’exécution nécessaires.
• Mode Édition : autorisations de lecture et d’écriture nécessaires.
• Mode Affichage : autorisation de lecture nécessaire.

Contenu connexe

• Créer et exécuter des notebooks