Поделиться через

Создать catalogs

  • Статья

В этой статье показано, как создать catalogs в Unity Catalog. содержитсхемы (базы данных), а содержит , , , модели и функции.

Дополнительные сведения о catalogsсм. в статье Что такое catalogs в Azure Databricks?.

Примечание.

Чтобы узнать, как создать внешний catalog, объект Unity Catalog, который соответствует базе данных во внешней системе данных, см. раздел о создании внешнего catalog. См. также управление и работа с иностранными catalogs.

Требования

Чтобы создать catalogнезависимо от типа catalog:

  • Вы должны быть администратором хранилища метаданных Azure Databricks или иметь CREATE CATALOG права на хранилище метаданных.
  • Вычислительный ресурс, используемый для запуска блокнота и создания catalog, должен работать на Databricks Runtime версии 11.3 или выше и использовать совместимый с Unity режим доступа Catalog. См . режимы доступа. Хранилища SQL всегда поддерживают Unity Catalog.

Чтобы создать общий catalog:

Чтобы создать стандарт catalog:

  • Чтобы указать управляемое расположение хранилища для catalog, необходимо иметь права CREATE MANAGED STORAGE на целевое внешнее расположение.
  • Если управляемое хранилище на уровне метаданных не существует, необходимо указать управляемое расположение хранилища для catalog.

Создать внешний catalog:

  • Вы должны быть либо владельцем подключения, которое используется для создания внешнего catalog, либо иметь привилегии CREATE FOREIGN CATALOG на это подключение.
  • Необходимо использовать вычисления в Databricks Runtime 13.1 или более поздней версии. Склады SQL должны быть профессиональными или бессерверными.

Создайте catalog

Чтобы создать catalog, можно использовать обозреватель Catalog, команду SQL, REST API, интерфейс командной строки Databricks или Terraform. При создании catalogавтоматически создаются две схемы (базы данных): default и information_schema.

Catalog Обозреватель

  1. Войдите в рабочую область, связанную с хранилищем метаданных.

  2. Щелкните значок CatalogCatalog.

  3. Нажмите кнопку Создать Catalog.

  4. В диалоговом окне Создание нового введите имя и типа , который вы хотите создать:

    • Стандартныйcatalog: защищаемый объект, который организует данные и активы ИИ, управляемые Unity Catalog. Для всех вариантов использования, кроме федерации Lakehouse и catalogs, созданного из Delta Sharing shares.
    • Внешнийcatalog: защищаемый объект, который реплицирует базу данных во внешней системе данных, используя Lakehouse Federation. Общие сведения о настройке федерации Lakehouse.
    • Общийcatalog: защищаемый объект, который упорядочивает данные и другие ресурсы, которыми с вами делятся в виде общей доли Delta Sharing . Создание catalog из общей папки делает эти ресурсы доступными для пользователей в рабочей области для чтения. См. раздел "Что такое общий ресурс?".

  5. В зависимости от типа catalog укажите следующие параметры:

    • Для стандартных : это необязательно, но настоятельно рекомендуется указать управляемое расположение хранилища. У вас должна быть CREATE MANAGED STORAGE привилегия в целевом внешнем расположении, которое вы используете в качестве управляемого расположения хранилища. См. раздел Указание расположения управляемого хранилища в Unity Catalog.

      При необходимости можно указать подпатку определенного внешнего расположения. Если у вас нет внешнего расположения, его можно создать, нажав кнопку "Создать новое внешнее расположение".

      Внимание

      Если в рабочей области нет расположения хранилища метаданных, необходимо указать управляемое расположение хранилища при создании catalog.

    • для внешних : необходимо подключения , который является защищаемым объектом в Unity , который указывает путь и для доступа к внешней системе баз данных. Общие сведения о настройке федерации Lakehouse.

      Когда вы выбрали подключение, введите имя базы данных или другого ресурса Databricks Catalog, который вы хотите отразить.

      Требования различаются в зависимости от источника данных:

      • MySQL использует двухуровневое пространство имен и поэтому не требует имени базы данных.
      • Чтобы выполнить connections в catalog в другой рабочей области Databricks, введите имя Databricks Catalog вместо имени базы данных.

      Если у вас нет определенного подключения, его можно создать, нажав кнопку "Создать новое подключение".

    • для общих : необходимо поставщика иобщего доступа. Выбрав поставщика, вы можете select один из sharesпоставщика.

      Если вы не уверены, какого провайдера и акцию выбрать, вам может быть проще просматривать или искать providers и shares с помощью браузера Catalog Explorer. См. представления и просмотр , к которым предоставлен общий доступпоставщику.

  6. Нажмите кнопку Создать.

  7. На созданном диалоговом окне Catalog щелкните Просмотреть catalog, чтобы принять catalog как автоматически настроенное, или щелкните Настроить catalog (рекомендуется), чтобы настроить разрешения, привязки рабочей области и метаданные catalog.

    Если вы нажмете Просмотреть catalog, catalog станет доступным для всех рабочих областей, подключенных к хранилищу метаданных, и привилегия BROWSE будет предоставлена всем пользователям учетной записи. Вы можете пропустить остальные действия, описанные в этой процедуре, и перейти к добавлению схем в catalog. См. статью "Создание схем".

    Вы можете в любое время вернуться на страницу сведений о catalog в обозревателе Catalog, чтобы update владельца, теги, комментарии, привязки рабочей области, разрешения и схемы.

  8. На странице Настройка рабочих областей catalog> укажите рабочую область, к которую привязан catalog.

    По умолчанию catalog предоставляется всем рабочим областям, подключённым к текущему хранилищу метаданных. Если catalog будет содержать данные, доступ к которым должен быть ограничен определенными рабочими областями, снимите флажок "Доступ ко всем рабочим областям" и нажмите кнопку "Назначить рабочим областям" для добавления этих рабочих областей. Текущая рабочая область должна быть включена.

    После назначения рабочей области можно изменить уровень доступа чтения & записи на уровень доступа только длячтения: рабочую область из и нажмите кнопк у "Управление уровнем доступа".

    Для получения дополнительной информации см. сведения о Limitcatalog доступе к конкретным рабочим пространствам.

  9. Нажмите Далее, чтобы назначить разрешения для вашего catalog.

    Все пользователи учетной записи имеют привилегию BROWSE по умолчанию, предоставляя им возможность обнаруживать catalog метаданные без having доступа на чтение к данным.

    Чтобы grant привилегию пользователю, группе или служебному принципалу, щелкните Grant и следуйте инструкциям в Unity Catalog привилегии и защищаемые объекты.

  10. Нажмите кнопку "Далее", чтобы добавить необязательный тег и метаданные комментария.

    Теги представляют собой пары "ключ-значение", которые можно использовать для организации и классификации catalogs, чтобы упростить поиск и обнаружение ваших ресурсов данных. Values являются необязательны. См. раздел Применение тегов к защищаемым объектам Unity Catalog.

    Комментарий — это открытое поле, которое часто используется для предоставления описания, которое помогает пользователям обнаруживать ресурсы данных в catalog. См. раздел "Добавление комментариев к данным и ресурсам ИИ".

  11. Нажмите кнопку Сохранить.

  12. Добавьте схемы и объекты данных в catalog.

    См. статью "Создание схем".

Обозреватель Catalog можно использовать для update владельца, тегов, комментариев, привязок рабочей области и разрешений в любое время после создания catalog.

SQL

Чтобы создать стандартную catalog, выполните следующую команду SQL в записной книжке или редакторе запросов SQL. Элементы в квадратных скобках являются необязательными. Замените заполнитель values:

  • <catalog-name>: одно из названий для catalog.

  • <location-path>: необязательно, но настоятельно рекомендуется. Укажите путь к расположению хранилища, если вы хотите, чтобы управляемые tables в этом catalog хранились в расположении, отличном от корневого хранилища, настроенного по умолчанию для метахранилища.

    Внимание

    Если в рабочей области нет расположения хранилища метаданных, необходимо указать управляемое расположение хранилища при создании catalog.

    Этот путь должен быть определен в конфигурации внешнего расположения, и у вас должна CREATE MANAGED STORAGE быть привилегия в конфигурации внешнего расположения. Можно использовать путь, определенный в конфигурации внешнего расположения или подпате (другими словами, 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' или 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

  • <comment>: необязательное описание или другое примечание.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Например, чтобы создать catalog, присвоив ему имя example:

CREATE CATALOG IF NOT EXISTS example;

Чтобы создать общую catalog, выполните следующую команду в записной книжке или редакторе SQL запросов. Элементы в квадратных скобках являются необязательными.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Чтобы создать внешнюю catalog, выполните следующую команду в ноутбуке или редакторе запросов SQL. Элементы в квадратных скобках являются необязательными. Замените заполнитель values:

  • <catalog-name>: название для catalog в Azure Databricks.
  • <connection-name>: объект подключения , указывающий источник данных, путь и доступ credentials.
  • <database-name>. Имя базы данных, которую вы хотите зеркально отображать как catalog в Azure Databricks. Не требуется для MySQL, использующего двухуровневое пространство имен. Вместо Lakehouse.
  • <external-catalog-name>: Databricks-to-Databricks только: имя catalog во внешней рабочей области Databricks, которую вы отображаете в зеркальном режиме. См. статью "Запуск федеративных запросов" в другой рабочей области Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

См. также создание внешнего catalog.

Чтобы limitcatalog получить доступ к конкретным рабочим пространствам в вашейучетной записи, также известное как связывание рабочего пространстваcatalog, см. раздел о Limitcatalog доступе к конкретным рабочим пространствам.

Подробные описания параметровсм. в CREATE CATALOG.

После того как вы создадите catalog, назначьте привилегии для catalog. См. привилегии Unity Catalog и защищаемые объекты.

Другие

Terraform: вы можете создать catalog с помощью провайдера Databricks Terraform и databricks_catalog. Вы можете получить сведения о catalogs, используя databricks_catalogs.

REST API: используйте post /api/2.1/unity-catalog/catalogs.

Databricks CLI: databricks catalogs create <catalog-name> [options] Для списка list параметров выполните databricks catalogs create -h. Параметры также описаны в справочнике по API. Следуйте ссылке API в предыдущем абзаце.

После создания catalogназначьте привилегии для catalog. См. привилегий Catalog Unity и защищаемых объектов.

Дополнительные сведения