Fonctionnalités d’extension des packs de ressources Databricks

L’extension Databricks pour Visual Studio Code fournit des fonctionnalités supplémentaires dans Visual Studio Code qui vous permettent de définir, déployer et exécuter facilement des packs de ressources Databricks pour appliquer les meilleures pratiques CI/CD à vos travaux Azure Databricks, pipelines Delta Live Tables et piles MLOps. Consultez Que sont les packs de ressources Databricks ?.

Pour installer l’extension Databricks pour Visual Studio Code, consultez Installer l’extension Databricks pour Visual Studio Code.

Prise en charge des packs de ressources Databricks dans les projets

L’extension Databricks pour Visual Studio Code ajoute les fonctionnalités suivantes pour vos projets packs de ressources Databricks :

• Authentification et configuration simples de vos packs de ressources Databricks via l’interface utilisateur de Visual Studio Code, y compris la sélection du profil AuthType. Consultez configuration de l’authentification pour l’extension Databricks pour Visual Studio Code.
• Sélecteur cible dans le panneau d’extension Databricks pour basculer rapidement entre les environnements cibles groupés. Consultez Modifier l’espace de travail de déploiement cible.
• L’option Remplacer le cluster de tâches dans le pack dans le panneau d’extension pour activer le remplacement facile du cluster.
• Vue Explorateur de ressources des packs, qui vous permet de parcourir vos packs de ressources à l’aide de l’interface utilisateur de Visual Studio Code, de déployer les ressources de votre pack de ressources Databricks local sur votre espace de travail Azure Databricks distant en un seul clic, et d’accéder directement à vos ressources déployées dans votre espace de travail à partir de Visual Studio Code. Consultez Bundle de l’explorateur de ressources.
• Vue variables groupées, qui vous permet de parcourir et de modifier vos variables groupées à l’aide de l’interface utilisateur de Visual Studio Code. Consultez la Vue Variables groupées.

Bundle de l’explorateur de ressources

La vue Bundle de l’explorateur de ressources dans l’extension Databricks pour Visual Studio Code utilise les définitions de travail et de pipeline dans la configuration groupée du projet pour afficher les ressources. Il vous permet également de déployer et d’exécuter des ressources, et de les accéder dans votre espace de travail Azure Databricks distant. Pour plus d’informations sur les ressources de configuration de bundle, consultez les ressources.

Par exemple, en fonction d’une définition du travail simple :

resources:
  jobs:
    my-notebook-job:
      name: "My Notebook Job"
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

La vue Bundle de l’explorateur de ressources dans l’extension affiche la ressource de travail du notebook :

Pour déployer le bundle, cliquez sur l’icône cloud (Déployer un bundle).

Pour exécuter le travail, dans la vue Bundle de l’explorateur de ressources, sélectionnez le nom du travail, qui est Mon travail de notebook dans cet exemple. Cliquez ensuite sur l’icône lecture (Déployer le bundle et exécuter la ressource).

Pour afficher le travail en cours d’exécution, dans la vue Bundle de l’explorateur de ressources, développez le nom du travail, cliquez sur Exécuter l’état, puis cliquez sur l’icône de lien (Ouvrir le lien en externe).

Vue Variables groupées

La vue Vue Variables groupées dans l’extension Databricks pour Visual Studio Code affiche les variables personnalisées et les paramètres associés définis dans votre configuration de bundle. Vous pouvez également définir des variables directement à l’aide de la vue Variables groupées. Ces valeurs remplacent celles définies dans les fichiers de configuration de bundle. Pour plus d’informations sur les variables personnalisées, consultez Variables personnalisées.

Par exemple, l’affichage Vue Variables groupées dans l’extension affiche les éléments suivants :

Pour la variable my_custom_var définie dans cette configuration de bundle :

variables:
  my_custom_var:
    description: "Max workers"
    default: "4"

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
                min_workers: 1
                max_workers: ${var.my_custom_var}