Поделиться через

Создание каталогов

  • Статья

В этой статье показано, как создавать каталоги в каталоге Unity. Каталог содержит схемы (базы данных), а схема содержит таблицы, представления, тома, модели и функции.

Дополнительные сведения о каталогах см. в статье "Что такое каталоги в Azure Databricks?".

Примечание.

Чтобы узнать, как создать внешний каталог, объект каталога Unity, который зеркально отражает базу данных во внешней системе данных, см. в статье "Создание внешнего каталога". См. также статью "Управление и работа с иностранными каталогами".

Требования

Чтобы создать каталог, независимо от типа каталога:

  • Вы должны быть администратором хранилища метаданных Azure Databricks или иметь CREATE CATALOG права на хранилище метаданных.
  • Вычислительный ресурс, используемый для запуска записной книжки для создания каталога, должен находиться в Databricks Runtime 11.3 или более поздней версии и должен использовать режим доступа, совместимый с каталогом Unity. См . режимы доступа. Хранилища SQL всегда поддерживают каталог Unity.

Чтобы создать общий каталог, выполните приведенные действия.

Чтобы создать стандартный каталог, выполните приведенные действия.

  • Если указать управляемое расположение хранилища для каталога, необходимо иметь CREATE MANAGED STORAGE привилегии в целевом внешнем расположении.
  • Если управляемое хранилище на уровне метаданных не существует, необходимо указать управляемое расположение хранилища для каталога.

Чтобы создать внешний каталог, выполните приведенные действия.

  • Вы должны быть владельцем подключения, используемого для создания внешнего каталога, или иметь CREATE FOREIGN CATALOG права на подключение.
  • Необходимо использовать вычисления в Databricks Runtime 13.1 или более поздней версии. Склады SQL должны быть профессиональными или бессерверными.

Создание каталога

Чтобы создать каталог, можно использовать обозреватель каталогов, команду SQL, REST API, интерфейс командной строки Databricks или Terraform. При создании каталога автоматически создаются две схемы (базы данных): default и information_schema.

Обозреватель каталогов

  1. Войдите в рабочую область, связанную с хранилищем метаданных.

  2. Щелкните Значок каталога каталог.

  3. Нажмите кнопку Создать каталог.

  4. В диалоговом окне "Создание каталога" введите имя каталога и выберите тип каталога, который требуется создать:

    • Стандартный каталог: защищаемый объект, который упорядочивает данные и ресурсы ИИ, управляемые каталогом Unity. Для всех вариантов использования, кроме Федерации Lakehouse и каталогов, созданных из общих папок Delta Sharing.
    • Внешний каталог: защищаемый объект, который отражает базу данных во внешней системе данных с помощью Федерации Lakehouse. Общие сведения о настройке федерации Lakehouse.
    • Общий каталог: защищаемый объект, который упорядочивает данные и другие ресурсы, к которым вы предоставляете общий доступ в виде общей папки Delta Share. Создание каталога из общей папки делает эти ресурсы доступными для пользователей в рабочей области для чтения. См. раздел "Что такое общий ресурс?".

  5. В зависимости от типа каталога укажите следующие параметры:

    • Для стандартных каталогов: это необязательно, но настоятельно рекомендуется указать расположение управляемого хранилища. У вас должна быть CREATE MANAGED STORAGE привилегия в целевом внешнем расположении, которое вы используете в качестве управляемого расположения хранилища. См. раздел "Указание расположения управляемого хранилища" в каталоге Unity.

      При необходимости можно указать подпатку определенного внешнего расположения. Если у вас нет внешнего расположения, его можно создать, нажав кнопку "Создать новое внешнее расположение".

      Внимание

      Если в рабочей области нет расположения хранилища метаданных, необходимо указать управляемое расположение хранилища при создании каталога.

    • Для внешних каталогов: необходимо выбрать подключение, которое является защищаемым объектом в каталоге Unity, который указывает путь и учетные данные для доступа к внешней системе баз данных. Общие сведения о настройке федерации Lakehouse.

      При выборе подключения введите имя базы данных или другого каталога Databricks, который требуется зеркально.

      Требования различаются в зависимости от источника данных:

      • MySQL использует двухуровневое пространство имен и поэтому не требует имени базы данных.
      • Для подключений к каталогу в другой рабочей области Databricks введите имя каталога Databricks вместо имени базы данных.

      Если у вас нет определенного подключения, его можно создать, нажав кнопку "Создать новое подключение".

    • Для общих каталогов: необходимо выбрать поставщика и общий доступ. Выбрав поставщика, можно выбрать один из общих папок поставщика.

      Если вы не уверены, какой поставщик и хотите предоставить общий доступ, вы можете упростить поиск поставщиков и общих папок с помощью браузера обозревателя каталогов. См . раздел "Просмотр поставщиков " и "Просмотр общих папок", к которым предоставлен общий доступ поставщику.

  6. Нажмите кнопку Создать.

  7. В диалоговом окне "Каталог создан!" щелкните "Просмотреть каталог", чтобы принять каталог автоматически настроенным, или щелкните "Настроить каталог" (рекомендуется), чтобы настроить разрешения каталога, привязки рабочей области и метаданные.

    Если щелкнуть "Просмотреть каталог", каталог будет доступен для всех рабочих областей, подключенных к хранилищу метаданных, и BROWSE привилегии будут предоставлены всем пользователям учетной записи. Вы можете пропустить остальные действия, описанные в этой процедуре, и перейти к добавлению схем в каталог. См. статью "Создание схем".

    Вы можете вернуться на страницу сведений о каталоге в обозревателе каталогов в любое время, чтобы обновить владельца, теги, комментарии, привязки рабочей области, разрешения и схемы.

  8. На странице "Настройка рабочих областей каталога>" укажите рабочую область, к которую привязан каталог.

    По умолчанию каталог предоставляется всем рабочим областям, подключенным к текущему хранилищу метаданных. Если каталог будет содержать данные, которые должны быть ограничены определенными рабочими областями, снимите флажок доступа "Все рабочие области" и нажмите кнопку "Назначить рабочим областям" для добавления этих рабочих областей. Текущая рабочая область должна быть включена.

    После назначения рабочей области можно дополнительно изменить уровень доступа для чтения и записи по умолчанию на "Только для чтения": выберите рабочую область из списка и нажмите кнопку "Управление уровнем доступа".

    Дополнительные сведения см. в разделе "Ограничение доступа к каталогам" для определенных рабочих областей.

  9. Нажмите кнопку "Далее ", чтобы назначить разрешения для каталога.

    Все пользователи учетной записи имеют BROWSE привилегию по умолчанию, предоставляя им возможность обнаруживать метаданные каталога без доступа на чтение к данным.

    Чтобы предоставить пользователю, группе или субъекту-службе привилегии, нажмите кнопку "Предоставить " и следуйте инструкциям в разделе "Права каталога Unity" и "Защищаемые объекты".

  10. Нажмите кнопку "Далее", чтобы добавить необязательный тег и метаданные комментария.

    Теги — это пары "ключ-значение", которые можно использовать для упорядочивания и классификации каталогов для упрощения поиска и обнаружения ресурсов данных. Значения являются необязательными. См. раздел "Применение тегов к защищаемым объектам каталога Unity".

    Комментарий — это открытое поле, которое часто используется для предоставления описания, помогающего пользователям обнаруживать ресурсы данных в каталоге. См. раздел "Добавление комментариев к данным и ресурсам ИИ".

  11. Нажмите кнопку Сохранить.

  12. Добавьте схемы и объекты данных в каталог.

    См. статью "Создание схем".

Обозреватель каталогов можно использовать для обновления владельца, тегов, комментариев, привязок рабочей области и разрешений в любое время после создания каталога.

SQL

Чтобы создать стандартный каталог, выполните следующую команду SQL в редакторе записных книжек или SQL-запросов. Элементы в квадратных скобках являются необязательными. Замените значения-заполнители:

  • <catalog-name> — имя каталога.

  • <location-path>: необязательно, но настоятельно рекомендуется. Укажите путь к расположению хранилища, если вы хотите, чтобы управляемые таблицы в этом каталоге хранились в расположении, отличном от корневого хранилища по умолчанию, настроенном для хранилища метаданных.

    Внимание

    Если в рабочей области нет расположения хранилища метаданных, необходимо указать управляемое расположение хранилища при создании каталога.

    Этот путь должен быть определен в конфигурации внешнего расположения, и у вас должна CREATE MANAGED STORAGE быть привилегия в конфигурации внешнего расположения. Можно использовать путь, определенный в конфигурации внешнего расположения или подпате (другими словами, 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' или 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

  • <comment>: необязательное описание или другое примечание.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Например, чтобы создать каталог с именем example:

CREATE CATALOG IF NOT EXISTS example;

Чтобы создать общий каталог, выполните следующую команду в редакторе запросов записной книжки или SQL. Элементы в квадратных скобках являются необязательными.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Чтобы создать внешний каталог, выполните следующую команду в редакторе запросов записной книжки или SQL. Элементы в квадратных скобках являются необязательными. Замените значения-заполнители:

  • <catalog-name>: имя каталога в Azure Databricks.
  • <connection-name>: объект подключения, указывающий источник данных, путь и учетные данные доступа.
  • <database-name>: имя базы данных, которую вы хотите зеркально отражать в качестве каталога в Azure Databricks. Не требуется для MySQL, использующего двухуровневое пространство имен. Вместо этого используйте catalog '<external-catalog-name>' федерацию Databricks to Databricks Lakehouse.
  • <external-catalog-name>: только Databricks to Databricks : имя каталога во внешней рабочей области Databricks, которую вы зеркалируете. См. статью "Запуск федеративных запросов" в другой рабочей области Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

См. также статью "Создание внешнего каталога".

Чтобы ограничить доступ к определенным рабочим областям в вашей учетной записи, также называемой привязкой каталога рабочей области, см . раздел "Ограничить доступ к каталогам для определенных рабочих областей".

Подробные описания параметров см. в разделе CREATE CATALOG.

После создания каталога назначьте привилегии каталогу. См. статью Защищаемые объекты и привилегии Unity Catalog.

Другие

Terraform: вы можете создать каталог с помощью поставщика Databricks Terraform и databricks_catalog. Вы можете получить сведения о каталогах с помощью databricks_catalogs.

REST API: используйте POST /api/2.1/unity-catalog/catalogs.

Databricks CLI: databricks catalogs create <catalog-name> [options] для списка параметров выполните команду databricks catalogs create -h. Параметры также описаны в справочнике по API. Следуйте ссылке API в предыдущем абзаце.

После создания каталога назначьте привилегии каталогу. См. статью Защищаемые объекты и привилегии Unity Catalog.

Дополнительные сведения