Настройка доступа к данным для приема
В этой статье описывается, как администраторы могут настроить доступ к данным в контейнере в Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения), чтобы пользователи Azure Databricks могли загружать данные из ADLS 2-го поколения в table в Azure Databricks.
В этой статье описаны следующие способы настройки безопасного доступа к исходным данным:
(Рекомендуется) Создайте том Catalog Unity.
Создайте Catalog внешнего расположения Unity с учетными данными хранилища.
Запустите вычислительный ресурс, использующий субъект-службу.
Generate временные credentials (маркер безопасности SAS для BLOB-объекта).
Подготовка к работе
Прежде чем настроить доступ к данным в ADLS 2-го поколения, убедитесь, что у вас есть следующие возможности:
Данные в контейнере в учетной записи хранения Azure. Сведения о создании контейнера см. в статье "Создание контейнера " в документации по службе хранилища Azure.
Чтобы получить доступ к данным с помощью тома Catalog Unity (рекомендуется), требуется привилегия
READ VOLUME
на томе. Дополнительные сведения см. в разделе Что такое CatalogvolumesUnity? и Unity Catalog привилегии и защищаемые объекты.Чтобы получить доступ к данным через внешнее расположение Catalog Unity, необходима привилегия
READ FILES
на внешнее расположение. Дополнительные сведения см. в статье "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks".Чтобы получить доступ к данным с помощью вычислительного ресурса с субъектом-службой, разрешения администратора рабочей области Azure Databricks.
Для доступа к данным с помощью временного тэга credentials:
- Разрешения администратора рабочей области Azure Databricks.
- Разрешения в учетной записи Azure для создания маркеров SAS BLOB-объектов. Это позволяет временно generatecredentials.
Хранилище SQL Databricks. Дополнительные сведения см. в разделе Создание хранилища SQL.
Опыт работы с пользовательским интерфейсом SQL Databricks.
Настройка доступа к облачному хранилищу
Используйте один из следующих методов для настройки доступа к ADLS 2-го поколения:
Рекомендуется создать том Catalog в Unity. Дополнительные сведения см. в разделе Что такое Unity Catalogvolumes?.
Настройте внешнее расположение Unity Catalog с использованием учетных данных хранилища. Дополнительные сведения о внешних расположениях см. в статье "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks".
Настройте вычислительный ресурс для использования субъекта-службы. Дополнительные сведения см. в разделе "Настройка субъекта-службы".
Generate временный credentials (токен SAS для объектов Blob) для совместного использования с другими пользователями Azure Databricks. Для получения дополнительной информации см. Generatecredentials для ингестион.
Очистка
Вы можете очистить связанные ресурсы в облачной учетной записи и Azure Databricks, если вы больше не хотите их хранить.
Удаление учетной записи хранения ADLS 2-го поколения
- Войдите на портал Azure для своей учетной записи Azure, обычно по адресу https://portal.azure.com.
- Перейдите к учетной записи хранения и откройте ее.
- Нажмите Удалить.
- Введите имя учетной записи хранения и нажмите кнопку " Удалить".
Остановка хранилища SQL
Если вы не используете хранилище SQL для других задач, его следует остановить, чтобы избежать дополнительных затрат.
- В SQL на боковой панели щелкните Хранилища SQL.
- Рядом с именем хранилища SQL щелкните Остановить.
- При появлении запроса щелкните Остановить снова.
Следующие шаги
Выполнив действия, описанные в этой статье, пользователи могут выполнить COPY INTO
команду, чтобы загрузить данные из контейнера ADLS 2-го поколения в рабочую область Azure Databricks.
Сведения о загрузке данных с помощью тома Catalog Unity или внешнего расположения см. в статье Загрузка данных с помощью COPY INTO с Catalogvolumes Unity или внешними расположениями.
Сведения о загрузке данных с помощью хранилища SQL с субъектом-службой см. в статье Загрузка данных с помощью COPY INTO с субъектом-службой.
Информацию о загрузке данных с использованием временного credentials (токена SAS для BLOB-объектов) см. в разделе Загрузка данных с помощью COPY INTO с временными credentials.