Доступ к данным, которым предоставлен доступ к вам с помощью разностного общего доступа (для получателей)
В этой статье показано, как получить доступ к данным, которым вы предоставили общий доступ с помощью разностного общего доступа.
Delta Sharing и получатели данных
Разностный общий доступ — это открытый стандарт для безопасного обмена данными. Пользователь Databricks, называемый поставщиком данных в этом контексте, может использовать Delta Sharing в Azure Databricks для совместного использования данных с человеком или группой за пределами своей организации, называемого получателем данных.
Совместное использование Databricks to Databricks и открытый общий доступ
Доступ к данным зависит от того, являетесь ли вы пользователем Databricks и настроен ли ваш поставщик данных для общего доступа к данным databricks to Databricks или открытый общий доступ.
В модели Databricks to Databricks необходимо быть пользователем в рабочей области Databricks, которая включена для каталога Unity. Член вашей команды предоставляет поставщику данных уникальный идентификатор хранилища метаданных каталога Unity, а поставщик данных использует это для создания безопасного подключения к совместному доступу. Общие данные становятся доступными для доступа в рабочей области. При необходимости член вашей команды настраивает детализированный контроль доступа к этим данным.
В открытой модели общего доступа можно использовать любой инструмент, который вы хотите (включая Databricks) для доступа к общим данным. Поставщик данных отправляет URL-адрес активации через безопасный канал. Следуйте инструкциям, чтобы скачать файл учетных данных, который позволяет получить доступ к данным, к которым вы предоставили доступ.
Общие данные предоставляются не службой Databricks напрямую, а поставщиками, которые запущены на платформе Azure Databricks.
Примечание.
Databricks может собирать сведения об использовании и доступе получателей данных к общим данным (включая идентификацию любого человека или компании, который обращается к данным с помощью файла учетных данных в связи с такой информацией) и может предоставить ему общий доступ к соответствующему поставщику данных.
Получение доступа к данным, к которым вам предоставлен общий доступ
Доступ к данным зависит от того, предоставлен ли общий доступ к данным поставщику данных с помощью открытого протокола общего доступа или протокола общего доступа Databricks to Databricks. Ознакомьтесь с разделом Databricks-to-Databricks и открытым общим доступом.
Получение доступа к модели Databricks to Databricks
В модели Databricks to Databricks:
Поставщик данных отправляет инструкции по поиску уникального идентификатора хранилища метаданных каталога Unity, связанного с рабочей областью Databricks, и отправляете его в него.
Идентификатор общего доступа — это строка, состоящая из облака, региона и UUID хранилища метаданных (уникальный идентификатор для хранилища метаданных) в формате
<cloud>:<region>:<uuid>. Например,aws:eu-west-1:b0c978c8-3e68-4cdf-94af-d05c120ed1ef.Чтобы получить идентификатор общего доступа с помощью обозревателя каталогов, выполните следующие действия.
В рабочей области Azure Databricks щелкните
"Каталог".В верхней части области каталога щелкните
значок шестеренки и выберите delta Sharing.Кроме того, на странице быстрого доступа нажмите кнопку "Разностный общий доступ>".
- На вкладке "Общий доступ со мной " щелкните имя организации общего доступа Databricks в правом верхнем углу и выберите "Копировать идентификатор общего доступа".
Чтобы получить идентификатор общего доступа с помощью записной книжки или SQL-запроса Databricks, используйте функцию
CURRENT_METASTORESQL по умолчанию. Если вы используете записную книжку, она должна выполняться в общем или отдельном кластере пользователей в рабочей области, используемой для доступа к общим данным.SELECT CURRENT_METASTORE();Поставщик данных создает следующее:
- Получатель в своей учетной записи Databricks, представляющий вас и пользователей в вашей организации, которые будут получать доступ к данным.
- Общий ресурс, представляющий собой представление таблиц, томов и представлений, которыми вы предоставляете общий доступ.
Вы обращаетесь к данным, к которым вам предоставлен доступ. При необходимости вы или кто-то из сотрудников можете настроить подробный доступ к данным для пользователей. См. раздел "Чтение данных" с помощью databricks-to-Databricks Delta Sharing (для получателей).
Получение доступа в модели открытого общего доступа
В открытой модели общего доступа:
Поставщик данных создает следующее:
- Получатель в своей учетной записи Databricks, представляющий вас и пользователей в вашей организации, которые будут получать доступ к данным. Файл маркера и учетных данных создаются в рамках этой конфигурации.
- Общий ресурс, представляющий собой представление таблиц и секций, которыми вы предоставляете общий доступ.
Поставщик данных отправляет URL-адрес активации через безопасный канал. Следуйте инструкциям, чтобы скачать файл учетных данных, который позволяет получить доступ к данным, к которым вы предоставили доступ.
Внимание
Не делитесь ссылкой на активацию с кем-либо. Файл учетных данных можно скачать только один раз. Если вы снова посетите ссылку активации после скачивания файла учетных данных, кнопка "Скачать файл учетных данных" отключена.
Если вы потеряете ссылку активации перед его использованием, обратитесь к поставщику данных.
Сохраните файл учетных данных в безопасном месте.
Не делитесь файлом учетных данных с кем-либо за пределами группы пользователей, у которых должен быть доступ к общим данным. Если вам потребуется передать его пользователю своей организации, Databricks рекомендует использовать диспетчер паролей.
Чтение общих данных
Как вы безопасно считываете данные, которыми вы поделились с помощью Delta Sharing, зависит от того, получили ли вы файл учетных данных (модель открытого общего доступа) или используете рабочую область Databricks и предоставили поставщик данных с идентификатором общего доступа (модель Databricks to Databricks).
Чтение общих данных с помощью файла учетных данных (открытый общий доступ)
Если вы предоставили доступ к данным с помощью открытого протокола общего доступа Delta Sharing, используйте файл учетных данных, скачанный для проверки подлинности в учетной записи поставщика данных Databricks и считывания общих данных. Доступ сохраняется до тех пор, пока базовый маркер действителен, и поставщик продолжает предоставлять общий доступ к данным. Поставщики управляют истечением срока действия маркера и поворотом. Обновления данных появляются почти в режиме реального времени. Вы можете считывать общие данные и создавать их копии, но не можете вносить в них изменения.
Сведения о доступе и чтении общих данных с помощью файла учетных данных в Azure Databricks, Apache Spark, pandas и Power BI см. в статье "Чтение данных с открытым общим доступом с помощью разностного общего доступа" (для получателей).
Чтение общих данных с помощью общего доступа Databricks к Databricks
Если вы предоставили доступ к данным с помощью модели Databricks to Databricks, для доступа к общим данным не требуется файл учетных данных. Databricks заботится о безопасном подключении, и общие данные автоматически обнаруживаются в рабочей области Databricks.
Сведения о том, как находить, читать и управлять общими данными в рабочей области Databricks, см. в статье "Чтение данных, общий доступ с помощью Databricks to-Databricks Delta Shared (для получателей)".
Аудит использования общих данных
Если у вас есть доступ к рабочей области Azure Databricks, вы можете использовать журналы аудита Azure Databricks, чтобы понять, кто в вашей организации обращается к данным с помощью Delta Sharing. См. статью "Аудит и мониторинг общего доступа к данным".