Управление хранилищами метаданных каталога Unity

В этой статье показано, как обновить, удалить и управлять поведением хранилища метаданных каталога Unity в учетной записи Azure Databricks.

Сведения о хранилищах метаданных каталога Unity и их создании см. в статье "Создание хранилища метаданных каталога Unity".

Включение автоматического назначения хранилища метаданных новым рабочим областям

Чтобы автоматически назначить существующее хранилище метаданных каталога Unity новым рабочим областям в регионе хранилища метаданных, администратор учетной записи может включить автоматическое назначение рабочей области для хранилища метаданных. Если этот параметр не выбран, администратор, создающий рабочую область в том же регионе, что и хранилище метаданных, должен вручную включить рабочую область для каталога Unity и выбрать хранилище метаданных из раскрывающегося списка.

Прежде чем администратор учетной записи включает этот параметр, они должны понимать следующие последствия для новых рабочих областей:

• Будет создан каталог рабочей области, и все пользователи рабочей области будут иметь права, необходимые для создания объектов в нем. См. Автоматическое включение каталога Unity.
• Администраторы рабочей области будут иметь разрешения, необходимые для создания защищаемых объектов на уровне хранилища метаданных, таких как каталоги и внешние расположения. Ознакомьтесь с правами администратора рабочей области, если рабочие области включены для каталога Unity автоматически.
• Если хранилище на уровне метаданных уже включено для хранилища метаданных, рабочая область сможет использовать это хранилище. См. раздел "Указание расположения управляемого хранилища" в каталоге Unity.
• Если администратор хранилища метаданных определен для хранилища метаданных, он сможет управлять доступом ко всем защищаемым объектам во всех рабочих областях, подключенных к хранилищу метаданных. См. раздел администраторов хранилища метаданных.
• Параметр разностного общего доступа (включен или отключен) для хранилища метаданных будет применяться ко всем рабочим областям, подключенным к хранилищу метаданных. См. раздел "Настройка разностного общего доступа" для учетной записи (для поставщиков).

Чтобы включить автоматическое назначение, выполните приведенные действия.

1. В качестве администратора учетной записи перейдите в консоль учетной записи Azure Databricks.
2. Щелкните каталог.
3. Выберите хранилище метаданных.
4. На вкладке "Конфигурация" в разделе "Назначение рабочей области" выберите автоматическое назначение новых рабочих областей в <region> этом хранилище метаданных.
5. В диалоговом окне подтверждения нажмите кнопку "Включить автоматическое назначение".

Добавление управляемого хранилища в существующее хранилище метаданных

Управляемое хранилище на уровне метаданных является необязательным, и оно не включается для хранилищ метаданных, созданных автоматически. Может потребоваться добавить хранилище на уровне метаданных в хранилище метаданных, если вы предпочитаете модель изоляции данных, которая хранит данные централизованно для нескольких рабочих областей. Вам потребуется хранилище на уровне метаданных, если вы являетесь партнером Azure Databricks, который использует личные промежуточные расположения.

См. также раздел "Указание расположения управляемого хранилища" в каталоге Unity.

Требования

• Необходимо подключить хотя бы одну рабочую область к хранилищу метаданных каталога Unity.
• Необходимые разрешения Azure Databricks:
  • Чтобы создать внешнее расположение, необходимо быть администратором хранилища метаданных или пользователем с CREATE EXTERNAL LOCATION привилегиями.CREATE STORAGE CREDENTIAL
  • Чтобы добавить расположение хранилища в определение хранилища метаданных, необходимо быть администратором учетной записи. Инструкции по включению роли администратора учетной записи в учетной записи см. в разделе "Установка первого администратора учетной записи".
• Необходимые разрешения клиента Azure:
  • Разрешение на создание учетной записи хранения для использования с Azure Data Lake Storage 2-го поколения. Эта учетная запись хранения должна иметь иерархическое пространство имен. См. статью Создание учетной записи хранения для использования с Azure Data Lake Storage 2-го поколения.
  • Разрешение на создание нового ресурса для хранения управляемого удостоверения, назначаемого системой. Для этого необходимо быть участником или владельцем группы ресурсов в любой подписке в арендаторе.

Шаг 1. Создание расположения хранилища

Следуйте инструкциям на шаге 1 (необязательно). Создайте контейнер хранилища для управляемого хранилища метаданных и шаг 2 (необязательно). Создайте управляемое удостоверение для доступа к управляемому расположению хранилища, чтобы создать контейнер хранилища в Azure Data Lake Storage 2-го поколения и соединитель доступа Azure Databricks, содержащий управляемое удостоверение, которое имеет доступ к контейнеру хранилища.

Шаг 2. Создание внешнего расположения в каталоге Unity

На этом шаге вы создадите внешнее расположение в каталоге Unity, которое ссылается на только что созданный путь ADLS 2-го поколения.

1. Создайте учетные данные хранения.

   Учетные данные хранилища будут представлять управляемое удостоверение Azure, созданное на шаге 1. Создание расположения хранилища.

   Следуйте инструкциям в статье "Создание учетных данных хранилища для подключения к Azure Data Lake Storage 2-го поколения".

2. Создайте внешнее расположение, которое ссылается на учетные данные хранилища, созданные на предыдущем шаге, и контейнер хранилища ADLS 2-го поколения, созданный на шаге 1. Создание расположения хранилища.

   Следуйте инструкциям из статьи "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks"

3. Предоставьте себе привилегии CREATE MANAGED STORAGE во внешнем расположении.

   1. Щелкните имя внешнего расположения, чтобы открыть область сведений.
   2. На вкладке "Разрешения" нажмите кнопку "Предоставить".
   3. <external location> выберите себя в поле "Субъекты" и выберите CREATE MANAGED STORAGE.
   4. Нажмите кнопку "Предоставить".

Шаг 3. Добавление расположения хранилища в хранилище метаданных

После создания внешнего расположения, представляющего контейнер хранилища метаданных, его можно добавить в хранилище метаданных.

1. Войдите в консоль учетной записи с правами администратора учетных записей.

2. Щелкните каталог.

3. Щелкните имя хранилища метаданных.

4. Убедитесь, что вы являетесь администратором хранилища метаданных.

   Если это не так, нажмите кнопку "Изменить " и назначьте себя администратором хранилища метаданных. Вы можете отменить назначение самостоятельно при выполнении этой процедуры.

5. На вкладке "Конфигурация" рядом с путьом ADLS 2-го поколения нажмите кнопку "Задать".

6. В корневом диалоговом окне "Задать хранилище метаданных" введите путь ADLS 2-го поколения, который использовался для создания внешнего расположения, и нажмите кнопку "Обновить".

   Вы не можете изменить этот путь после настройки, но при необходимости его можно удалить и добавить новый путь.

Удалить хранилище метауровня

Если у вас есть хранилище на уровне метаданных для управляющих таблиц и томов (также известное как корневая директория хранилища метаданных), но вы хотите обеспечить изоляцию данных на уровне каталога или схемы, можно удалить опцию хранилища метаданных для хранилища метаданных. При этом происходит следующее:

• Существующие каталоги, у которых нет корневого каталога, задают расположение облачного хранилища хранилища метаданных в качестве управляемого хранилища на уровне каталога. Другими словами, корневой каталог метахранилища "передан" в эти каталоги. Доступ к данным в этих каталогах продолжает функционировать без прерывания.
• В зависимости от того, как был создан метастор, в каталоге Unity может не быть определено защищенное внешнее расположение для корневой директории хранилища. В этом случае создается новое внешнее местоположение и связанный с ним учетный данные хранения. Новое внешнее расположение по умолчанию называется prior_metastore_root_location.
• Каждый раз, когда пользователь создает каталог, он должен предоставить выделенное расположение хранилища, зарегистрированное в каталоге Unity в качестве внешнего расположения.

Заметка

Если вы используете Delta Sharing для совместного использования записных книжек и корневой каталог хранилища метаданных был использован как общее хранилище записных книжек, прежде чем удалить корневой каталог, необходимо сделать следующее:

1. Уберите блокнот из общего доступа.
2. Повторно добавьте записную книжку с помощью специального места хранения.

См. раздел Добавление файлов записной книжки в общую папку.

Чтобы удалить корневой каталог хранилища метаданных, выполните следующие действия.

1. Войдите в консоль учетной записи с правами администратора учетных записей.
2. Щелкните каталог.
3. Щелкните имя хранилища метаданных.
4. На вкладке конфигурации впути ADLS 2-го поколения нажмите кнопку Удалить.
5. В диалоговом окне подтверждения щелкните Удалить.

Добавление администратора хранилища метаданных

Администраторы хранилища метаданных являются необязательными, но существуют ситуации, когда может потребоваться один для хранилища метаданных. См. статью Назначение администратора хранилища метаданных.

Удаление хранилища метаданных

Если вы закрываете учетную запись Azure Databricks или имеете другую причину для удаления доступа к данным, управляемым хранилищем метаданных Unity Catalog, вы можете удалить хранилище метаданных.

Предупреждение

Все объекты, управляемые хранилищем метаданных, становятся недоступными при использовании рабочих областей Azure Databricks. Это действие невозможно отменить.

Данные и метаданные управляемой таблицы удаляются автоматически по прошествии 30 дней. На данные внешней таблицы в облачном хранилище не влияет удаление хранилища метаданных.

Чтобы удалить хранилище метаданных, сделайте следующее:

1. Войдите в консоль учетной записи с правами администратора хранилища метаданных.
2. Щелкните каталог.
3. Щелкните имя хранилища метаданных.
4. На вкладке Конфигурация щелкните меню с тремя кнопками в правом верхнем углу и выберите Удалить.
5. В диалоговом окне подтверждения введите имя хранилища метаданных и щелкните Удалить.