Поделиться через

Назначение вычислительных ресурсов группе

  • Статья

Важный

Эта функция доступна в общедоступной предварительной версии.

В этой статье объясняется, как создать вычислительный ресурс, назначенный группе, с помощью режима доступа Выделенный.

Режим доступа к выделенной группе позволяет пользователям получать операционную эффективность кластера стандартного режима доступа, а также безопасно поддерживать языки и рабочие нагрузки, которые не поддерживаются стандартным режимом доступа, например Databricks Runtime для машинного обучения, библиотеки машинного обучения Spark (MLlib), API RDD и R.

Включив общедоступную предварительную версию выделенного кластера группы, рабочая область также будет иметь доступ к новому упрощенному пользовательскому интерфейсу вычислений. Этот новый пользовательский интерфейс обновляет имена режимов доступа и упрощает параметры вычислений. См. раздел по использованию простой формы для управления вычислительными ресурсами.

Требования

Чтобы использовать режим доступа к выделенной группе, выполните следующие действия.

  • Администратор рабочей области должен включить вычислительные ресурсы: кластеры выделенных групп предварительной версии с помощью пользовательского интерфейса предварительной версии. См. Управление предварительными версиями Azure Databricks.
  • Рабочая область должна быть включена для использования с каталогом Unity.
  • Необходимо использовать Databricks Runtime 15.4 или более поздней версии.
  • Назначенная группа должна иметь разрешения CAN MANAGE в папке рабочей области, где они могут хранить записные книжки, эксперименты машинного обучения и другие артефакты рабочей области, используемые кластером группы.

Что такое выделенный режим доступа?

Выделенный режим доступа — это последняя версия режима доступа с одним пользователем. С выделенным доступом вычислительный ресурс можно назначить одному пользователю или группе, позволяя использовать вычислительный ресурс только назначенным пользователям.

При подключении пользователя к вычислительному ресурсу, выделенному для группы (групповой кластер), разрешение пользователя автоматически ограничивается разрешениями группы, позволяя пользователю безопасно делиться ресурсом с другими членами группы.

Создание вычислительного ресурса, выделенного для группы

  1. В рабочей области Azure Databricks перейдите к Вычисления и щелкните Создать вычисление.
  2. Разверните раздел Расширенные функции.
  3. В разделе Режим доступащелкните Вручную и выберите Выделенный (ранее: один пользователь) в выпадающем меню.
  4. В поле один пользователь или группа выберите группу, которую вы хотите назначить этому ресурсу.
  5. Настройте другие нужные параметры вычислений и нажмите кнопку Создать.

Рекомендации по управлению кластерами групп

Так как разрешения пользователей ограничены группой при использовании кластеров групп, Databricks рекомендует создать папку /Workspace/Groups/<groupName> для каждой группы, используемой с кластером групп. Затем назначьте разрешения CAN MANAGE на папку для группы. Это позволяет группам избежать ошибок разрешений. Все записные книжки группы и ресурсы рабочей области должны управляться в папке группы.

Для выполнения в кластерах групп необходимо также изменить следующие рабочие нагрузки:

  • MLflow: убедитесь, что записная книжка выполняется из папки группы или запустите mlflow.set_tracking_uri("/Workspace/Groups/<groupName>").
  • AutoML: установите значение необязательного параметра experiment_dir на “/Workspace/Groups/<groupName>” для запуска AutoML.
  • dbutils.notebook.run. Убедитесь, что группа обладает READ разрешением на выполнение записной книжки.

Примеры разрешений группы

При создании объекта данных с помощью кластера группы группа назначается владельцем объекта.

Например, если у вас есть записная книжка, подключенная к кластеру группы, и выполните следующую команду:

use catalog main;
create schema group_cluster_group_schema;

Затем выполните этот запрос, чтобы проверить владельца схемы:

describe schema group_cluster_group_schema;

описание схемы группы

группа аудита, посвящённая вычислительной деятельности

Существует два ключевых идентификатора, задействованных при выполнении рабочей нагрузки в группе кластеров.

  1. Пользователь, выполняющий рабочую нагрузку в кластере группы
  2. Группа, разрешения которой используются для выполнения конкретных действий, связанных с рабочей нагрузкой.

Таблица системы журнала аудита записывает эти идентификаторы по следующим параметрам.

  • identity_metadata.run_by. Проверка подлинности пользователя, выполняющего действие
  • identity_metadata.run_as: группа авторизации, разрешения которой используются для действия.

Следующий пример запроса извлекает идентификационные метаданные для действия, совершаемого в групповом кластере.

select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;

Дополнительные примеры запросов см. в справочнике по системе журнала аудита. См. справочник по системной таблице журнала аудита .

Известные проблемы

  • Файлы и папки рабочей области, созданные из кластеров групп, приводят к тому, что владелец назначенного объекта Unknown. Это приводит к сбою последующих операций с этими объектами, такими как read, writeи delete, с ошибками, отказано в разрешении.

Ограничения

Общедоступная предварительная версия режима доступа к выделенной группе имеет следующие известные ограничения:

  • Системные таблицы lineage не записывают идентификаторы identity_metadata.run_as (авторизующей группы) или identity_metadata.run_by (аутентифицирующего пользователя) для рабочих нагрузок, работающих в групповом кластере.
  • Журналы аудита, доставленные в хранилище клиентов, не записывают удостоверения identity_metadata.run_as (группа авторизации) или identity_metadata.run_by (аутентифицирующий пользователь) для рабочих нагрузок, работающих в групповом кластере. Для просмотра метаданных удостоверения необходимо использовать таблицу system.access.audit.
  • При присоединении к кластеру группы обозреватель каталогов не фильтрует ресурсы, доступные только группе.
  • Руководители групп, которые не являются членами группы, не могут создавать, изменять или удалять кластеры групп. Это можно сделать только администраторам рабочей области и членам группы.
  • Если группа переименована, необходимо вручную обновить все политики вычислений, ссылающиеся на имя группы.
  • Кластеры групп не поддерживаются для рабочих областей с отключенными списками управления доступом (isWorkspaceAclsEnabled == false) из-за отсутствия элементов управления безопасностью и доступом к данным при отключении списков управления доступом к рабочей области.
  • Команда %run в настоящее время использует разрешения пользователя вместо разрешений группы при выполнении в кластере группы. Альтернативные варианты, такие как dbutils.notebook.run(), правильно используют разрешения группы.