Автоматизация настройки каталога Unity с помощью Terraform
Вы можете автоматизировать настройку каталога Unity с помощью поставщика Databricks Terraform. В этой статье приведены ссылки на руководство по развертыванию каталога Unity поставщика Terraform и справочную документацию по ресурсам, а также требования ("Перед началом работы") и советы по проверке и развертыванию.
Перед началом работы
Чтобы автоматизировать настройку каталога Unity с помощью Terraform, необходимо следующее:
- Учетная запись Azure Databricks должна находиться в плане Premium.
- В клиенте Azure необходимо иметь разрешение на создание:
- Учетная запись хранения для использования с Azure Data Lake Storage 2-го поколения. См. Создать учетную запись для хранения для использования с Azure Data Lake Storage 2-го поколения.
- Новый ресурс для хранения управляемого удостоверения, назначаемого системой. Это требует, чтобы вы имели роль
ContributorилиOwnerв группе ресурсов в рамках любой подписки в арендатора.
Чтобы использовать поставщик Databricks Terraform для настройки метахранилища для Unity Catalog, хранения метахранилища, любого внешнего хранилища и всех связанных учетных данных доступа, необходимо следующее:
- Учетная запись Azure.
- Администратор уровня учетной записи в вашей учетной записи Azure.
- На локальном компьютере разработки необходимо:
Интерфейс командной строки Terraform. См. информацию о скачивании Terraform на веб-сайте Terraform.
Azure CLI, вошедший в систему через команду
az loginот имени пользователя, обладающего правамиContributorилиOwnerна вашу подписку. См. , как установить Azure CLI. Сведения о входе с использованием служебного аккаунта Microsoft Entra ID см. в статье о входе в Azure CLI с помощью служебного аккаунта Microsoft Entra ID. Чтобы войти с помощью учетной записи пользователя Azure Databricks, см. статью о входе в Azure CLI с использованием учетной записи пользователя Azure Databricks.Заметка
При аутентификации с помощью автоматизированных средств, систем, скриптов и приложений рекомендуется войти с помощью команды
az loginс использованием учетной записи службы Microsoft Entra ID. См. войти с помощью субъекта-службы и аутентификация с использованием субъекта-службы Azure.
Чтобы использовать поставщик Databricks Terraform для настройки всех остальных компонентов инфраструктуры каталога Unity, необходимо иметь следующее:
- Рабочая область Azure Databricks.
- На локальном компьютере разработки необходимо:
- Интерфейс командной строки Terraform. См. информацию о скачивании Terraform на веб-сайте Terraform.
- Одно из следующих элементов:
Интерфейс командной строки Databricks версии 0.205 или выше, настроенный с помощью личного маркера доступа Azure Databricks, через запуск
databricks configure --host <workspace-url> --profile <some-unique-profile-name>. См. Установка или обновление интерфейса командной строки Databricks и аутентификацию персонального токена доступа Azure Databricks.Заметка
Databricks рекомендует, в качестве меры обеспечения безопасности, при аутентификации с помощью автоматизированных инструментов, систем, сценариев и приложений, использовать персональные токены доступа, принадлежащие субъектам-службам , вместо пользователей рабочей области. Сведения о создании маркеров для субъектов-служб см. в разделе Управление маркерами для субъекта-службы.
Вход в Azure CLI выполнен с помощью команды
az login. См. , как установить Azure CLI. Сведения о входе с использованием служебного аккаунта Microsoft Entra ID см. в статье о входе в Azure CLI с помощью служебного аккаунта Microsoft Entra ID. Чтобы войти с помощью учетной записи пользователя Azure Databricks, см. статью о входе в Azure CLI с использованием учетной записи пользователя Azure Databricks.Заметка
При аутентификации с помощью автоматизированных средств, систем, скриптов и приложений рекомендуется войти с помощью команды
az loginс использованием учетной записи службы Microsoft Entra ID. См. войти с помощью субъекта-службы и аутентификация с использованием субъекта-службы Azure.Следующие две переменные среды Azure Databricks:
-
DATABRICKS_HOST, задайте значение URL-адреса экземпляра рабочей области, напримерhttps://dbc-1234567890123456.cloud.databricks.com задайте значение маркера личного доступа Azure Databricks илиидентификатора Microsoft Entra ID (прежнее название — Azure Active Directory ). См. также Мониторинг и отзыв персональных токенов доступа.
Чтобы задать эти переменные среды, ознакомьтесь с документацией операционной системы.
Заметка
Databricks рекомендует, в качестве меры обеспечения безопасности, при аутентификации с помощью автоматизированных инструментов, систем, сценариев и приложений, использовать персональные токены доступа, принадлежащие субъектам-службам , вместо пользователей рабочей области. Сведения о создании маркеров для субъектов-служб см. в разделе Управление маркерами для субъекта-службы.
-
Руководство по развертыванию каталога Unity поставщика Terraform и справочная документация по ресурсам
Сведения о развертывании всех необходимых компонентов и включении каталога Unity для рабочей области см. в статье Развертывание необходимых ресурсов и включение каталога Unity в документации по поставщику Databricks Terraform.
Если у вас уже есть некоторые компоненты инфраструктуры каталога Unity, можно использовать Terraform для развертывания дополнительных компонентов инфраструктуры каталога Unity по мере необходимости. Ознакомьтесь с каждым разделом руководства, упомянутым в предыдущем абзаце, а также с разделом каталога Unity в документации на поставщика Databricks Terraform.
Проверка, планирование, развертывание или уничтожение ресурсов
- Чтобы проверить синтаксис конфигураций Terraform без их развертывания, выполните команду
terraform validate. - Чтобы показать действия, которые Будет предпринять Terraform для развертывания конфигураций, выполните команду
terraform plan. Эта команда фактически не развертывает конфигурации. - Чтобы развернуть конфигурации, выполните команду
terraform deploy. - Чтобы удалить развернутые ресурсы, выполните команду
terraform destroy.