Поделиться через


Справочник по конфигурации

В этой статье приведены справочные сведения о ключах, поддерживаемых конфигурацией пакетов ресурсов Databricks (YAML). См. Что такое пакеты ресурсов Databricks?.

Полные примеры пакетов см. в примерах конфигурации пакета и репозитория GitHub.

артефакт

Определяет параметры для создания артефакта.

Ключ Тип Описание
build Струна Необязательный набор команд сборки, отличных от по умолчанию, выполняемых локально перед развертыванием.
executable Струна Тип исполняемого файла. Допустимые значения: bash, shи cmd.
files Карта Исходные файлы для артефакта, определенного как artifact_file.
path Струна Место, где будет сохранён собранный артефакт.
type Струна Обязательно. Тип артефакта. Допустимые значения — whl.

Артефакты

Определяет атрибуты для создания артефактов, где каждый ключ является именем артефакта, а значением является карта, определяющая параметры сборки артефактов . Для получения информации о сопоставлении artifacts смотрите артефакты .

Параметры артефактов, определенные на верхнем уровне конфигурации пакета, можно переопределить в карте targets. См. раздел Определение параметров артефактов в пакетах ресурсов Databricks.

artifacts:
  <artifact-name>:
      <artifact-field-name>: <artifact-field-value>

Пример

artifacts:
  default:
    type: whl
    build: poetry build
    path: .

файл артефакта

Определяет файл артефакта в пакете.

Ключ Тип Описание
source Струна Обязательно. Путь к файлам, используемым для создания артефакта.

bundle

Атрибуты пакета. См. пакет в наборе.

Ключ Тип Описание
cluster_id Струна Идентификатор кластера, который будет использоваться для запуска пакета. См. cluster_id.
databricks_cli_version Струна Версия интерфейса командной строки Databricks, используемая для пакета. См. databricks_cli_version.
deployment Карта Определение развертывания пакета. Сведения о поддерживаемых атрибутах см. в развертывании и в режимах развертывания пакета ресурсов Databricks .
git Карта Сведения об элементе управления версиями Git, связанном с вашим пакетом. Поддерживаемые атрибуты см. в разделе Git и Git.
name Струна Обязательно. Имя комплекта.

развёртывание

Определяет атрибуты развертывания пакета.

Ключ Тип Описание
fail_on_active_runs Булев Происходит ли сбой при активных запусках. Если для этого задано значение true, развертывание, которое выполняется, может быть прервано.
lock Карта Атрибуты блокировки развертывания. См. блокировку.

экспериментальный

Определяет атрибуты для экспериментальных функций.

Ключ Тип Описание
python_wheel_wrapper булев Следует ли использовать оболочку колеса Python.
scripts Команда (Строка) Команды для выполнения
use_legacy_run_as Булевый Следует ли использовать устаревшее поведение run_as.

Git

Определяет сведения о системе управления версиями Git, которые связаны с пакетом. См. git.

Ключ Тип Описание
origin_url Струна URL-адрес источника репозитория. См. git.
branch Струна Имя ветви Git. См. git.

грант

Определяет доступ к объектам каталога Unity. Дополнительные сведения см. в статье Connect to cloud object storage and services using Unity Catalog.

Ключ Тип Описание
principal Струна Обязательно. Имя субъекта, которому будут предоставлены привилегии.
privileges Струна Обязательно. Привилегии, которые предоставляются указанной сущности.

Пример

В следующем примере определяется схема каталога Unity с грантами:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - CAN_MANAGE
        - principal: my_team
          privileges:
            - CAN_READ
      catalog_name: main
      comment: "my schema with grants"

замок

Определяет атрибуты блокировки развертывания пакета.

Ключ Тип Описание
enabled Булев Включена ли эта блокировка.
force Булев Следует ли принудительно применить эту блокировку, если она включена.

разрешение

Определяет разрешение для конкретной сущности. См. разрешения и Установка разрешений для ресурсов в пакетах ресурсов Databricks.

Ключ Тип Описание
group_name Струна Название группы, которая имеет определённый набор разрешений в level.
level Струна Обязательно. Разрешенное разрешение для пользователя, группы, субъекта-службы, определенного для этого разрешения.
service_principal_name Струна Имя субъекта-службы, имеющего разрешение в level.
user_name Струна Имя пользователя, имеющего набор разрешений в level.

Разрешения

Последовательность, определяющая разрешения, применяемые к экспериментам, заданиям, конвейерам и моделям, определенным в пакете, где каждый элемент последовательности — это разрешение для определенной сущности.

См. разрешения и Установка разрешений для ресурсов в пакетах ресурсов Databricks.

Пример

permissions:
  - level: CAN_VIEW
    group_name: test-group
  - level: CAN_MANAGE
    user_name: someone@example.com
  - level: CAN_RUN
    service_principal_name: 123456-abcdef

Предустановки

Определяет настройки развертывания пакета. См. пользовательские настройки.

Ключ Тип Описание
jobs_max_concurrent_runs Целое число Максимальное число параллельных запусков для задачи.
name_prefix Струна Префикс для запусков заданий пакета.
pipelines_development булевский тип Следует ли блокировать развертывания конвейеров в режиме разработки.
source_linked_deployment Булев Следует ли связать развертывание с источником пакета.
tags Карта Теги для развертывания пакета.
trigger_pause_status Струна Статус приостановки для применения ко всем триггерам и расписаниям рабочих заданий. Допустимые значения: PAUSED или UNPAUSED.

ресурсы

Карта, определяющая ресурсы для пакета, где каждый ключ является именем ресурса, а значением является карта, определяющая ресурс. Дополнительная информация о поддерживаемых ресурсах Databricks Asset Bundles и справочнике по определению ресурсов см. в ресурсах Databricks Asset Bundles.

resources:
  <resource-type>s:
    <resource-name>:
      <resource-field-name>: <resource-field-value>
Ключ Тип Описание
clusters Карта Определения кластера для пакета, где каждый ключ — это имя кластера. См. кластер
dashboards Карта Определения панели мониторинга для пакета, где каждый ключ — это имя панели мониторинга. См. панели мониторинга
experiments Карта Определения экспериментов для пакета, где каждый ключ — это имя эксперимента. См. эксперимент
jobs Карта Определения заданий для пакета, где каждый ключ — это имя задания. См. задание
model_serving_endpoints Карта Определения конечных точек обслуживания модели для пакета, где каждый ключ — это имя конечной точки обслуживания модели. См. конечную точку обслуживания модели
models Карта Определения модели для пакета, где каждый ключ — это имя модели. См. модель (устаревшая)
pipelines Карта Определения конвейера для пакета, где каждый ключ — это имя конвейера. См. конвейера
quality_monitors Карта Определения монитора качества для пакета, где каждый ключ — это имя монитора качества. См. quality_monitor (Unity Catalog)
registered_models Карта Определения зарегистрированной модели для пакета, где каждый ключ — это имя зарегистрированной модели каталога Unity. См. registered_model (каталог Unity)
schemas Карта Определения схемы для пакета, где каждый ключ — это имя схемы. См. схему (каталог Unity)
volumes Карта Определения тома для пакета, где каждый ключ — это имя тома. См. том (каталог Unity)

run_as

Идентификатор, используемый при выполнении рабочих процессов пакетов ресурсов Databricks. См. Задайте идентификатор выполнения для рабочего процесса пакетов ресурсов Databricks.

Ключ Тип Описание
service_principal_name Струна Идентификатор приложения активного субъекта-службы. Для этого поля требуется роль servicePrincipal/user.
user_name Струна Электронная почта активного пользователя рабочей области. Пользователи, не являющиеся администраторами, могут задать это поле только для собственного сообщения электронной почты.

синхронизировать

Файлы и пути к файлам для включения или исключения в пакет. См. синхронизация.

Ключ Тип Описание
exclude Последовательность Список файлов или папок, которые следует исключить из пакета.
include Последовательность Список файлов или папок для включения в пакет.
paths Последовательность Пути локальных папок, которые могут находиться вне корневого каталога пакета, для синхронизации с рабочей областью при развертывании пакета.

цель

Определяет целевые объекты развертывания для пакета. См. цели

Ключ Тип Описание
artifacts Карта Артефакты, которые необходимо включить в целевое развертывание. См. артефакты.
bundle Карта Атрибуты пакета при развертывании в этом целевом объекте.
cluster_id Струна Идентификатор кластера, используемого для этого целевого объекта.
compute_id Струна Устаревший. Идентификатор вычислительных ресурсов, используемых для этого целевого объекта.
default Логический Указывает, является ли этот целевой объект целевым объектом по умолчанию.
git Карта Параметры управления версиями Git для целевого объекта. См. Git.
mode Струна Режим развертывания целевого объекта. Допустимые значения: development или production. См. режимы развертывания пакета ресурсов Databricks.
permissions Последовательность Разрешения для развертывания и запуска пакета в целевом объекте. См. разрешения.
presets Карта Предустановки развертывания для целевого объекта. См. предустановки .
resources Карта Определения ресурсов для целевого объекта. См. ресурсы и.
run_as Карта Учетная запись, используемая для запуска пакета. См. run_as и указание идентификации выполнения для рабочего процесса "Databricks Asset Bundles".
sync Карта Локальные пути для синхронизации с целевой рабочей областью при запуске или развертывании пакета. См. синхронизации.
variables Карта Пользовательские определения переменных для целевого объекта. См. переменных и замены и переменные в пакетах ресурсов Databricks.
workspace Карта Рабочая область Databricks для целевого объекта. рабочей области

Переменные

Карта, определяющая пользовательские переменные для пакета, где каждый ключ — имя переменной, а значение — карта, определяющая переменную. См. замены и переменные в пакетах ресурсов Databricks.

Ключ Тип Описание
имя переменной Карта Определение переменной. См. имя переменной.

имени переменной

Каждое определение переменной имеет следующие атрибуты:

Ключ Тип Описание
description Струна Описание переменной.
lookup Струна Имя alert, cluster_policy, cluster, dashboard, instance_pool, job, metastore, pipeline, query, service_principalили объект warehouse, для которого требуется получить идентификатор.
type Струна Тип переменной. Допустимые значения — complex.

рабочее пространство

Определяет рабочую область Databricks для пакета. См. рабочую область .

Ключ Тип Описание
artifact_path Струна Путь артефакта, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
auth_type Струна Тип проверки подлинности.
azure_client_id Струна Идентификатор клиента Azure.
azure_environment Струна Среда Azure.
azure_login_app_id Струна Идентификатор приложения для входа Azure.
azure_tenant_id Струна Идентификатор клиента Azure.
azure_use_msi Булев Следует ли использовать MSI для Azure.
azure_workspace_resource_id Струна Идентификатор ресурса рабочей области Azure.
client_id Струна Идентификатор клиента для рабочей области.
file_path Струна Путь к файлу, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов.
google_service_account Струна Имя учетной записи службы Google.
host Струна URL-адрес рабочего пространства Databricks.
profile Струна Имя профиля в рабочей области Databricks.
resource_path Струна Путь к ресурсу рабочей области.
root_path Струна Корневой путь рабочей области Databricks.
state_path Струна Путь состояния рабочей области.