Использование Microsoft Fabric для чтения данных, зарегистрированных в каталоге Unity
В этой статье представлен обзор использования Microsoft Fabric для чтения данных, зарегистрированных в каталоге Unity.
Обзор интеграции Fabric с каталогом Unity
Azure Databricks использует Azure Data Lake Storage 2-го поколения для открытого, доступного и низкозатратного хранилища. Каталог Unity управляет данными, основанными на определяемых пользователем политиках. Microsoft Fabric позволяет пользователям читать некоторые из этих таблиц, зарегистрированных в каталоге Unity, с помощью ярлыка файла.
Чтобы пользователи могли считывать данные, зарегистрированные в каталоге Unity из Fabric, администратор каталога Fabric создает ярлыки OneLake, указывающие на данные, зарегистрированные в каталоге Unity. В функции совместного использования Fabric начальная установка соединения осуществляется через открытые API каталога Unity для выдачи учетных данных, предоставляющих доступ к базовым путям хранения поддерживаемых таблиц. При подтверждении подтверждения Структура создает ярлыки OneLake для данных, хранящихся в Azure Data Lake Storage 2-го поколения. Учетные данные, предоставляемые каталогом Unity, являются короткими, обновляются каждый час и могут быть отозваны с помощью каталога Unity для запрета доступа пользователей Fabric.
Примечание.
При использовании Fabric для чтения данных, зарегистрированных в каталоге Unity, важно понимать следующее:
- Элементы зеркального каталога Azure Databricks в Fabric не реплицируют данные. Учетные данные для доступа к данным извлекаются по запросу из подсистем Fabric с помощью API каталога Unity. Databricks предоставляет открытую платформу на основе архитектуры Lakehouse: копии данных не требуются или не рекомендуется.
- Фабричные механизмы выполняют авторизацию в каталоге Unity, используя короткоживущие учетные данные, привязанные к идентичности пользователя, который настроил подключение, а не пользователя, запрашивающего фактические данные. Модули Fabric не применяют политики управления и безопасности в Unity Catalog к пользователям Fabric. Другими словами, когда таблица открывается в Fabric, контроль доступа, регулируемый Unity Catalog, не применяется к пользователям Fabric. Это может привести к потенциальным нарушениям корпоративных политик информационной безопасности.
Подготовка к работе
Чтобы получить доступ к данным Unity Catalog с помощью Fabric, пользователь, который настраивает подключение к Databricks из Fabric, должен иметь разрешение на запрос временных учетных данных с использованием выдачи учетных данных через открытое API Unity Catalog.
Для этого требуется, чтобы пользователь имел EXTERNAL USE SCHEMA права на схему в каталоге Unity Catalog, содержащую таблицы, для доступа к которым из Fabric. См. раздел «Включение доступа к внешним данным» к каталогу Unity.
Примечание.
После установления подключения пользователям Fabric, имеющим доступ к этому подключению, больше не требуется иметь эту привилегию, что фактически позволяет обходить управление каталогом Unity.
Ограничения
Использование Fabric для чтения данных, зарегистрированных в каталоге Unity, не поддерживает следующее:
- Существующие политики безопасности каталога Unity для подчиненных пользователей в Fabric.
- Представления, материализованные представления и потоковые таблицы.
- Каталоги Delta Sharing.
- Каталоги системы Lakehouse Federation.
- Таблицы с включенными фильтрами на уровне строк или масками столбцов.
- Таблицы, которые не используют Delta Lake в качестве формата.
- Родословная каталога Unity для операций, выполняемых в Fabric.
- Рабочие области Azure Databricks, использующие частные конечные точки или списки доступа к IP-адресам.
- Таблицы, базовое хранилище Azure Data Lake которых находится за брандмауэром.
Использование Fabric также требует запускаемой емкости Fabric для выполнения сканирования и обновления метаданных, что приводит к дополнительным затратам.
Примечание.
Эти ограничения не применяются при использовании Direct Query Power BI с зарегистрированными данными каталога Unity. См. альтернативы получения доступа к данным, зарегистрированным в каталоге Unity.
Чтение данных каталога Unity с помощью Fabric
Полные инструкции см. в документации Майкрософт по настройке сочетаний клавиш Fabric.
Альтернативные варианты доступа к данным, зарегистрированным в каталоге Unity
Azure Databricks использует Azure Data Lake Storage 2-го поколения для открытого, доступного и низкозатратного хранилища. Узнайте больше в рекомендациях по использованию облачного хранилища с Unity Catalog. Если вы испытываете дискомфорт из-за связанных с функцией совместного использования Fabric рисков и ограничений, рекомендуется следовать следующим путям для доступа к данным, зарегистрированным в Unity Catalog: