Características de extensión de conjuntos de recursos de Databricks

La extensión Databricks para Visual Studio Code proporciona características adicionales en Visual Studio Code que le permiten definir, implementar y ejecutar fácilmente conjuntos de recursos de Databricks para aplicar procedimientos recomendados de CI/CD a los trabajos de Azure Databricks, las canalizaciones de Delta Live Tables y las pilas de MLOps. Consulte ¿Qué son las agrupaciones de recursos de Databricks?

A fin de instalar la extensión Databricks para Visual Studio Code, vea Instalación de la extensión Databricks para Visual Studio Code.

Compatibilidad con Agrupaciones de recursos de Databricks en proyectos

La extensión Databricks para Visual Studio Code agrega las siguientes características para los proyectos de Agrupaciones de recursos de Databricks:

• Autenticación y configuración sencillas de las agrupaciones de recursos de Databricks mediante la interfaz de usuario de Visual Studio Code, incluida la selección del perfil AuthType. Consulte Configuración de autenticación para la extensión de Databricks para Visual Studio Code.
• Un selector de destino en el panel de extensiones de Databricks para cambiar rápidamente entre entornos de destino de la agrupación. Vea Cambio del área de trabajo de implementación de destino.
• La opción Invalidar el clúster Trabajos en la agrupación en el panel de extensiones para habilitar la invalidación sencilla del clúster.
• Una vista del Explorador de recursos de las agrupaciones, que le permite examinar los recursos de la agrupación mediante la interfaz de usuario de Visual Studio Code, implementar los recursos de la agrupación local de recursos de Databricks en el área de trabajo remota de Azure Databricks con un solo clic, así como ir directamente a los recursos implementados en el área de trabajo desde Visual Studio Code. Vea Explorador de recursos de las agrupaciones.
• Una vista de las Variables de la agrupación, que le permite examinar y editar las variables dela agrupación mediante la interfaz de usuario de Visual Studio Code. Vea Vista Variables de agrupación.

Explorador de recursos de la agrupación

La vista Explorador de recursos de la agrupación en la extensión Databricks para Visual Studio Code usa las definiciones de trabajo y canalización en la configuración de agrupación del proyecto para mostrar los recursos. También le permite implementar y ejecutar recursos y navegar a ellos en el área de trabajo remota de Azure Databricks. Para obtener información sobre los recursos de configuración de agrupación, vea recursos.

Por ejemplo, dada una definición de trabajo simple:

resources:
  jobs:
    my-notebook-job:
      name: "My Notebook Job"
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

En la vista Explorador de recursos de la agrupación de la extensión se muestra el recurso de trabajo del cuaderno:

Para implementar la agrupación, haga clic en el icono de nube (Implementar agrupación).

Para ejecutar el trabajo, en la vista Explorador de recursos de agrupación, seleccione el nombre del trabajo, que es Mi trabajo de Notebook en este ejemplo. Después, haga clic en el icono de reproducción (Implementar la agrupación y ejecutar el recurso).

Para ver el trabajo en ejecución, en la vista Explorador de recursos de agrupación, expanda el nombre del trabajo, haga clic en Estado de ejecución y, después, haga clic en el icono de vínculo (Abrir vínculo externamente).

Vista Variables de agrupación

En la vista Ver variables de agrupación de la extensión Databricks para Visual Studio Code se muestran las variables personalizadas y las opciones asociadas que se definen en la configuración de la agrupación. También puede definir variables directamente mediante la vista Variables de agrupación. Estos valores invalidan los establecidos en los archivos de configuración de agrupación. Para más información sobre las variables personalizadas, vea Variables personalizadas.

Por ejemplo, en la Vista Variables de agrupación en la extensión se mostraría lo siguiente:

En el caso de la variable my_custom_var definida en esta configuración de agrupación:

variables:
  my_custom_var:
    description: "Max workers"
    default: "4"

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
                min_workers: 1
                max_workers: ${var.my_custom_var}