Что такое Чистые комнаты Azure Databricks?
Внимание
Эта функция предоставляется в режиме общедоступной предварительной версии.
В этой статье представлены чистые комнаты, функция Azure Databricks, которая использует разностный общий доступ и бессерверные вычисления для обеспечения безопасной и защиты конфиденциальности среды, в которой несколько сторон могут работать совместно с конфиденциальными корпоративными данными без прямого доступа к данным друг друга.
Требования
Чтобы иметь право использовать чистые комнаты, необходимо:
- У вас есть учетная запись, включенная для бессерверных вычислений. См. раздел "Включить бессерверные вычисления".
- У вас есть рабочая область, включенная для каталога Unity. См. раздел Включение рабочей области для каталога Unity.
Как работают чистые комнаты?
При создании чистой комнаты вы создадите следующее:
- Защищаемый объект чистой комнаты в хранилище метаданных каталога Unity.
- "Центральная" чистая комната, которая является изолированной эфемерной средой, управляемой Databricks.
- Защищаемый объект чистой комнаты в хранилище метаданных каталога Unity участника совместной работы.
Таблицы, тома (не табличные данные), представления и записные книжки, которыми делится любой из сотрудников в чистом помещении, передаются только в центральное чистое помещение, используя Delta Sharing.
Сотрудники не могут видеть данные в таблицах, представлениях или томах других участников совместной работы, но они могут видеть имена столбцов и типы столбцов, и они могут запускать утвержденный код записной книжки, работающий над ресурсами данных. Код записной книжки выполняется в центральной чистой комнате. Записные книжки также могут создавать выходные таблицы , которые позволяют вашему сотруднику временно сохранять выходные данные только для чтения в хранилище метаданных каталога Unity, чтобы они могли работать с ним в своих рабочих областях.
Как чистые комнаты обеспечивают не доверяемую среду?
Модель "Чистые комнаты Databricks" не доверяет. Все сотрудники в чистой комнате без доверия имеют равные привилегии, включая создателя чистой комнаты. Чистые комнаты предназначены для предотвращения выполнения несанкционированного кода и несанкционированного доступа к данным. Например, все сотрудники должны утвердить записную книжку перед его запуском. Это доверие применяется неявно, предотвращая выполнение совместной работы любой записной книжки, которую они создали сами: вы можете запустить записную книжку, созданную другим сотрудником.
Дополнительные гарантии или ограничения
В дополнение к неявному процессу утверждения записной книжки, упомянутым выше, применяются следующие меры безопасности.
После создания чистой комнаты она заблокирована, чтобы предотвратить присоединение новых сотрудников к чистой комнате.
Если любой сотрудник удаляет чистую комнату, центральная чистая комната пустота, и никакие задачи чистой комнаты не могут выполняться любым пользователем.
Во время общедоступной предварительной версии каждая чистая комната ограничена двумя участниками совместной работы.
Не удается переименовать чистую комнату.
Имя чистой комнаты должно быть уникальным в хранилище метаданных каждого участника совместной работы, чтобы все сотрудники могли ссылаться на одну и ту же чистую комнату однозначно.
Комментарии о защищенной чистой комнате в рабочей области каждого сотрудника не распространяются другим участникам совместной работы.
Что предоставляется другим участникам совместной работы?
- Имя чистой комнаты.
- Облако и регион центрального чистого помещения.
- Имя вашей организации (которое может быть любым именем, которое вы выбрали).
- Идентификатор общего доступа к чистой комнате (глобальный идентификатор хранилища метаданных и идентификатор рабочей области + адрес электронной почты пользователя).
- Псевдонимы общих таблиц, представлений или томов.
- Метаданные столбца (имя столбца или псевдоним и тип).
- Записные книжки (только для чтения).
- Выходные таблицы (только для чтения, временные).
- Таблица системных событий чистых помещений.
- Журнал выполнения, включая:
- Имя выполняемой записной книжки
- Сотрудник, выполняющий записную книжку (не пользователь).
- Состояние запуска записной книжки.
- Время запуска записной книжки.
Что общего с центральной чистой комнатой?
Все, что указано в предыдущем разделе.
Только для чтения: таблицы, тома, представления и записные книжки.
Таблицы, представления и тома регистрируются в хранилище метаданных центрального чистого помещения с любым предоставленным псевдонимом. Ресурсы данных разделяются на протяжении всего жизненного цикла чистой комнаты.
Ограничения
Во время общедоступной предварительной версии применяются следующие ограничения:
- Учетные данные службы Scala не включены в требуемую версию Databricks Runtime.
Квоты ресурсов
Azure Databricks применяет квоты ресурсов ко всем защищаемым объектам чистой комнаты. Эти квоты перечислены в ограничениях ресурсов. Если вы ожидаете превышение этих ограничений ресурсов, обратитесь к группе учетных записей Azure Databricks.
Вы можете отслеживать использование квоты с помощью API-интерфейсов квот ресурсов каталога Unity. См. статью "Мониторинг использования квот ресурсов каталога Unity".