Extensiefuncties voor Databricks Asset Bundles

De Databricks-extensie voor Visual Studio Code biedt aanvullende functies in Visual Studio Code waarmee u eenvoudig Databricks Asset Bundles kunt definiëren, implementeren en uitvoeren om aanbevolen PROCEDURES voor CI/CD toe te passen op uw Azure Databricks-taken, Delta Live Tables-pijplijnen en MLOps-stacks. Bekijk wat zijn Databricks Asset Bundles?.

Zie De Databricks-extensie voor Visual Studio Code installeren om de Databricks-extensie voor Visual Studio Code te installeren.

Ondersteuning voor Databricks Asset Bundles in projecten

De Databricks-extensie voor Visual Studio Code voegt de volgende functies toe voor uw Databricks Asset Bundles-projecten:

• Eenvoudige verificatie en configuratie van uw Databricks Asset Bundles via de Gebruikersinterface van Visual Studio Code, inclusief AuthType-profielselectie . Zie De verificatie-instelling voor de Databricks-extensie voor Visual Studio Code.
• Een doelkiezer in het extensievenster van Databricks om snel te schakelen tussen bundeldoelomgevingen. Zie De doelimplementatiewerkruimte wijzigen.
• Het cluster Taken overschrijven in bundel in het extensievenster om het overschrijven van clusters eenvoudig in te schakelen.
• Een bundelresourceverkennerweergave , waarmee u met één klik door uw bundelresources kunt bladeren met behulp van de Visual Studio Code-gebruikersinterface, de resources van uw lokale Databricks Asset Bundle kunt implementeren in uw externe Azure Databricks-werkruimte en rechtstreeks vanuit Visual Studio Code naar uw geïmplementeerde resources in uw werkruimte kunt gaan. Zie Bundelresourceverkenner.
• Een bundelvariabelenweergave, waarmee u uw bundelvariabelen kunt bladeren en bewerken met behulp van de Visual Studio Code-gebruikersinterface. Zie de weergave Bundelvariabelen.

Bundelresourceverkenner

De Bundelresourceverkenner weergave in de Databricks-extensie voor Visual Studio Code gebruikt de taak- en pijplijndefinities in de bundelconfiguratie van het project om resources weer te geven, waaronder pijplijngegevenssets en hun schema's. Hiermee kunt u ook resources implementeren en uitvoeren, gedeeltelijke updates van pijplijnen valideren en uitvoeren, gebeurtenissen en diagnostische gegevens van pijplijnuitvoeringen bekijken en naar resources in uw externe Azure Databricks-werkruimte navigeren. Zie de resources voor informatie over bundelconfiguratiebronnen.

Bijvoorbeeld, op basis van een eenvoudige taakdefinitie:

resources:
  jobs:
    my-notebook-job:
      name: "My Notebook Job"
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

In de weergave Bundelresourceverkenner in de extensie wordt de notebooktaakresource weergegeven:

Als u de bundel wilt implementeren, klikt u op het cloudpictogram (bundel implementeren).

Als u de taak wilt uitvoeren, selecteert u in de weergave Bundelresourceverkenner de naam van de taak. Dit is mijn notebooktaak in dit voorbeeld. Klik vervolgens op het pictogram Afspelen (De bundel implementeren en de resource uitvoeren).

Als u de actieve taak wilt weergeven, vouwt u in de weergave Bundelresourceverkenner de taaknaam uit, klikt u op Status uitvoeren en klikt u vervolgens op het koppelingspictogram (koppeling extern openen).

Voor een pijplijn kunt u een validatie en een gedeeltelijke update activeren door de pijplijn te selecteren en vervolgens op het controlepictogram (De bundel implementeren en de pijplijn valideren) te klikken. De gebeurtenissen van de uitvoering worden weergegeven en eventuele fouten kunnen worden vastgesteld in het Visual Studio Code-PROBLEMEN paneel.

Weergave Bundelvariabelen

In de weergave Bundelvariabelen in de Databricks-extensie voor Visual Studio Code worden aangepaste variabelen en bijbehorende instellingen weergegeven die zijn gedefinieerd in uw bundelconfiguratie. U kunt variabelen ook rechtstreeks definiëren met behulp van de weergave Bundelvariabelen. Deze waarden overschrijven de waarden die zijn ingesteld in de bundelconfiguratiebestanden. Zie Aangepaste variabelen voor meer informatie over aangepaste variabelen.

In de weergave Bundelvariabelen in de extensie wordt bijvoorbeeld het volgende weergegeven:

Voor de variabele my_custom_var die in deze bundelconfiguratie is gedefinieerd:

variables:
  my_custom_var:
    description: "Max workers"
    default: "4"

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
                min_workers: 1
                max_workers: ${var.my_custom_var}