Справочник по конфигурации
В этой статье приведены справочные сведения о ключах, поддерживаемых конфигурацией пакетов ресурсов Databricks (YAML). См. Что такое пакеты ресурсов Databricks?.
Полные примеры пакетов см. в примерах конфигурации пакета и репозитория GitHub.
артефакт
Определяет параметры для создания артефакта.
Ключ | Тип | Описание |
---|---|---|
build |
Струна | Необязательный набор команд сборки, отличных от по умолчанию, выполняемых локально перед развертыванием. |
executable |
Струна | Тип исполняемого файла. Допустимые значения: bash , sh и cmd . |
files |
Карта | Исходные файлы для артефакта, определенного как artifact_file. |
path |
Струна | Место, где будет сохранён собранный артефакт. |
type |
Струна | Обязательно. Тип артефакта. Допустимые значения — whl . |
Артефакты
Определяет атрибуты для создания артефактов, где каждый ключ является именем артефакта, а значением является карта, определяющая параметры сборки артефактов . Для получения информации о сопоставлении artifacts
смотрите артефакты .
Параметры артефактов, определенные на верхнем уровне конфигурации пакета, можно переопределить в карте targets
. См. раздел Определение параметров артефактов в пакетах ресурсов Databricks.
artifacts:
<artifact-name>:
<artifact-field-name>: <artifact-field-value>
Пример
artifacts:
default:
type: whl
build: poetry build
path: .
файл артефакта
Определяет файл артефакта в пакете.
Ключ | Тип | Описание |
---|---|---|
source |
Струна | Обязательно. Путь к файлам, используемым для создания артефакта. |
bundle
Атрибуты пакета. См. пакет в наборе.
Ключ | Тип | Описание |
---|---|---|
cluster_id |
Струна | Идентификатор кластера, который будет использоваться для запуска пакета. См. cluster_id. |
databricks_cli_version |
Струна | Версия интерфейса командной строки Databricks, используемая для пакета. См. databricks_cli_version. |
deployment |
Карта | Определение развертывания пакета. Сведения о поддерживаемых атрибутах см. в развертывании и в режимах развертывания пакета ресурсов Databricks . |
git |
Карта | Сведения об элементе управления версиями Git, связанном с вашим пакетом. Поддерживаемые атрибуты см. в разделе Git и Git. |
name |
Струна | Обязательно. Имя комплекта. |
развёртывание
Определяет атрибуты развертывания пакета.
Ключ | Тип | Описание |
---|---|---|
fail_on_active_runs |
Булев | Происходит ли сбой при активных запусках. Если для этого задано значение true , развертывание, которое выполняется, может быть прервано. |
lock |
Карта | Атрибуты блокировки развертывания. См. блокировку. |
экспериментальный
Определяет атрибуты для экспериментальных функций.
Ключ | Тип | Описание |
---|---|---|
python_wheel_wrapper |
булев | Следует ли использовать оболочку колеса Python. |
scripts |
Команда (Строка) | Команды для выполнения |
use_legacy_run_as |
Булевый | Следует ли использовать устаревшее поведение run_as. |
Git
Определяет сведения о системе управления версиями Git, которые связаны с пакетом. См. git.
Ключ | Тип | Описание |
---|---|---|
origin_url |
Струна | URL-адрес источника репозитория. См. git. |
branch |
Струна | Имя ветви Git. См. git. |
грант
Определяет доступ к объектам каталога Unity. Дополнительные сведения см. в статье Connect to cloud object storage and services using Unity Catalog.
Ключ | Тип | Описание |
---|---|---|
principal |
Струна | Обязательно. Имя субъекта, которому будут предоставлены привилегии. |
privileges |
Струна | Обязательно. Привилегии, которые предоставляются указанной сущности. |
Пример
В следующем примере определяется схема каталога Unity с грантами:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- CAN_MANAGE
- principal: my_team
privileges:
- CAN_READ
catalog_name: main
comment: "my schema with grants"
замок
Определяет атрибуты блокировки развертывания пакета.
Ключ | Тип | Описание |
---|---|---|
enabled |
Булев | Включена ли эта блокировка. |
force |
Булев | Следует ли принудительно применить эту блокировку, если она включена. |
разрешение
Определяет разрешение для конкретной сущности. См. разрешения и Установка разрешений для ресурсов в пакетах ресурсов Databricks.
Ключ | Тип | Описание |
---|---|---|
group_name |
Струна | Название группы, которая имеет определённый набор разрешений в level . |
level |
Струна | Обязательно. Разрешенное разрешение для пользователя, группы, субъекта-службы, определенного для этого разрешения. |
service_principal_name |
Струна | Имя субъекта-службы, имеющего разрешение в level . |
user_name |
Струна | Имя пользователя, имеющего набор разрешений в level . |
Разрешения
Последовательность, определяющая разрешения, применяемые к экспериментам, заданиям, конвейерам и моделям, определенным в пакете, где каждый элемент последовательности — это разрешение для определенной сущности.
См. разрешения и Установка разрешений для ресурсов в пакетах ресурсов Databricks.
Пример
permissions:
- level: CAN_VIEW
group_name: test-group
- level: CAN_MANAGE
user_name: someone@example.com
- level: CAN_RUN
service_principal_name: 123456-abcdef
Предустановки
Определяет настройки развертывания пакета. См. пользовательские настройки.
Ключ | Тип | Описание |
---|---|---|
jobs_max_concurrent_runs |
Целое число | Максимальное число параллельных запусков для задачи. |
name_prefix |
Струна | Префикс для запусков заданий пакета. |
pipelines_development |
булевский тип | Следует ли блокировать развертывания конвейеров в режиме разработки. |
source_linked_deployment |
Булев | Следует ли связать развертывание с источником пакета. |
tags |
Карта | Теги для развертывания пакета. |
trigger_pause_status |
Струна | Статус приостановки для применения ко всем триггерам и расписаниям рабочих заданий. Допустимые значения: PAUSED или UNPAUSED . |
ресурсы
Карта, определяющая ресурсы для пакета, где каждый ключ является именем ресурса, а значением является карта, определяющая ресурс. Дополнительная информация о поддерживаемых ресурсах Databricks Asset Bundles и справочнике по определению ресурсов см. в ресурсах Databricks Asset Bundles.
resources:
<resource-type>s:
<resource-name>:
<resource-field-name>: <resource-field-value>
Ключ | Тип | Описание |
---|---|---|
clusters |
Карта | Определения кластера для пакета, где каждый ключ — это имя кластера. См. кластер |
dashboards |
Карта | Определения панели мониторинга для пакета, где каждый ключ — это имя панели мониторинга. См. панели мониторинга |
experiments |
Карта | Определения экспериментов для пакета, где каждый ключ — это имя эксперимента. См. эксперимент |
jobs |
Карта | Определения заданий для пакета, где каждый ключ — это имя задания. См. задание |
model_serving_endpoints |
Карта | Определения конечных точек обслуживания модели для пакета, где каждый ключ — это имя конечной точки обслуживания модели. См. конечную точку обслуживания модели |
models |
Карта | Определения модели для пакета, где каждый ключ — это имя модели. См. модель (устаревшая) |
pipelines |
Карта | Определения конвейера для пакета, где каждый ключ — это имя конвейера. См. конвейера |
quality_monitors |
Карта | Определения монитора качества для пакета, где каждый ключ — это имя монитора качества. См. quality_monitor (Unity Catalog) |
registered_models |
Карта | Определения зарегистрированной модели для пакета, где каждый ключ — это имя зарегистрированной модели каталога Unity. См. registered_model (каталог Unity) |
schemas |
Карта | Определения схемы для пакета, где каждый ключ — это имя схемы. См. схему (каталог Unity) |
volumes |
Карта | Определения тома для пакета, где каждый ключ — это имя тома. См. том (каталог Unity) |
run_as
Идентификатор, используемый при выполнении рабочих процессов пакетов ресурсов Databricks. См. Задайте идентификатор выполнения для рабочего процесса пакетов ресурсов Databricks.
Ключ | Тип | Описание |
---|---|---|
service_principal_name |
Струна | Идентификатор приложения активного субъекта-службы. Для этого поля требуется роль servicePrincipal/user . |
user_name |
Струна | Электронная почта активного пользователя рабочей области. Пользователи, не являющиеся администраторами, могут задать это поле только для собственного сообщения электронной почты. |
синхронизировать
Файлы и пути к файлам для включения или исключения в пакет. См. синхронизация.
Ключ | Тип | Описание |
---|---|---|
exclude |
Последовательность | Список файлов или папок, которые следует исключить из пакета. |
include |
Последовательность | Список файлов или папок для включения в пакет. |
paths |
Последовательность | Пути локальных папок, которые могут находиться вне корневого каталога пакета, для синхронизации с рабочей областью при развертывании пакета. |
цель
Определяет целевые объекты развертывания для пакета. См. цели
Ключ | Тип | Описание |
---|---|---|
artifacts |
Карта | Артефакты, которые необходимо включить в целевое развертывание. См. артефакты. |
bundle |
Карта | Атрибуты пакета при развертывании в этом целевом объекте. |
cluster_id |
Струна | Идентификатор кластера, используемого для этого целевого объекта. |
compute_id |
Струна | Устаревший. Идентификатор вычислительных ресурсов, используемых для этого целевого объекта. |
default |
Логический | Указывает, является ли этот целевой объект целевым объектом по умолчанию. |
git |
Карта | Параметры управления версиями Git для целевого объекта. См. Git. |
mode |
Струна | Режим развертывания целевого объекта. Допустимые значения: development или production . См. режимы развертывания пакета ресурсов Databricks. |
permissions |
Последовательность | Разрешения для развертывания и запуска пакета в целевом объекте. См. разрешения. |
presets |
Карта | Предустановки развертывания для целевого объекта. См. предустановки . |
resources |
Карта | Определения ресурсов для целевого объекта. См. ресурсы и. |
run_as |
Карта | Учетная запись, используемая для запуска пакета. См. run_as и указание идентификации выполнения для рабочего процесса "Databricks Asset Bundles". |
sync |
Карта | Локальные пути для синхронизации с целевой рабочей областью при запуске или развертывании пакета. См. синхронизации. |
variables |
Карта | Пользовательские определения переменных для целевого объекта. См. переменных и замены и переменные в пакетах ресурсов Databricks. |
workspace |
Карта | Рабочая область Databricks для целевого объекта. рабочей области |
Переменные
Карта, определяющая пользовательские переменные для пакета, где каждый ключ — имя переменной, а значение — карта, определяющая переменную. См. замены и переменные в пакетах ресурсов Databricks.
Ключ | Тип | Описание |
---|---|---|
имя переменной | Карта | Определение переменной. См. имя переменной. |
имени переменной
Каждое определение переменной имеет следующие атрибуты:
Ключ | Тип | Описание |
---|---|---|
description |
Струна | Описание переменной. |
lookup |
Струна | Имя alert , cluster_policy , cluster , dashboard , instance_pool , job , metastore , pipeline , query , service_principal или объект warehouse , для которого требуется получить идентификатор. |
type |
Струна | Тип переменной. Допустимые значения — complex . |
рабочее пространство
Определяет рабочую область Databricks для пакета. См. рабочую область .
Ключ | Тип | Описание |
---|---|---|
artifact_path |
Струна | Путь артефакта, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов |
auth_type |
Струна | Тип проверки подлинности. |
azure_client_id |
Струна | Идентификатор клиента Azure. |
azure_environment |
Струна | Среда Azure. |
azure_login_app_id |
Струна | Идентификатор приложения для входа Azure. |
azure_tenant_id |
Струна | Идентификатор клиента Azure. |
azure_use_msi |
Булев | Следует ли использовать MSI для Azure. |
azure_workspace_resource_id |
Струна | Идентификатор ресурса рабочей области Azure. |
client_id |
Струна | Идентификатор клиента для рабочей области. |
file_path |
Струна | Путь к файлу, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов. |
google_service_account |
Струна | Имя учетной записи службы Google. |
host |
Струна | URL-адрес рабочего пространства Databricks. |
profile |
Струна | Имя профиля в рабочей области Databricks. |
resource_path |
Струна | Путь к ресурсу рабочей области. |
root_path |
Струна | Корневой путь рабочей области Databricks. |
state_path |
Струна | Путь состояния рабочей области. |