Поделиться через

Предоставление доступа к данным с помощью открытого протокола Delta Sharing (для поставщиков)

  • Статья

В этой статье приводятся общие сведения о том, как поставщики могут использовать протокол открытого общего доступа Delta Share для совместного использования данных из рабочей области Azure Databricks с поддержкой каталога Unity с любым пользователем на любой вычислительной платформе в любом месте.

Примечание.

Если вы являетесь получателем данных (пользователь или группа пользователей, которым предоставлен доступ к данным), см. вместо этого доступ к данным, которыми с вами поделились с помощью Delta Sharing (для получателей).

Кто должен использовать протокол открытого общего доступа Delta Sharing?

Существует три способа совместного использования данных с помощью разностного общего доступа:

  1. Открытый протокол обмена данными Databricks, описанный в этой статье, позволяет вам делиться данными, которыми вы управляете в рабочей области Databricks с поддержкой Unity Catalog, с пользователями на любой вычислительной платформе.

    Этот подход использует сервер Delta Share, встроенный в Azure Databricks, и полезен при управлении данными с помощью каталога Unity и хотите поделиться им с пользователями, которые не используют Databricks или не имеют доступа к рабочей области Databricks с поддержкой каталога Unity. Интеграция с каталогом Unity на стороне поставщика упрощает настройку и управление поставщиками.

  2. Управляемая клиентом реализация сервера с открытым исходным кодом Delta Sharing позволяет предоставлять общий доступ от любой платформы к любой платформе, независимо от того, используется ли Databricks или нет.

    См . github.com/delta-io/delta-sharing.

  3. Протокол совместного использования Databricks-to-Databricks позволяет делиться данными из рабочей области с поддержкой Unity Catalog с пользователями, которые также имеют доступ к рабочей области Databricks с поддержкой Unity Catalog.

    См. общий доступ к данным с использованием протокола Delta Sharing Databricks-to-Databricks (для поставщиков).

Общие сведения о разностном совместном использовании и дополнительные сведения об этих трех подходах см. в разделе "Что такое разностный общий доступ?".

Рабочий процесс открытого общего доступа для разностного общего доступа

В этом разделе представлен общий обзор рабочего процесса открытого общего доступа с ссылками на подробную документацию для каждого шага.

В модели открытого общего доступа Delta Sharing:

  1. Поставщик данных создает получателя, который является именованным объектом, который представляет пользователя или группу пользователей, с которыми поставщик данных хочет предоставить общий доступ к данным.

    Когда поставщик данных создает получателя, Azure Databricks создает маркер, файл учетных данных, содержащий маркер, и ссылку активации, которую поставщик данных может отправить получателю для доступа к файлу учетных данных.

    Дополнительные сведения см . в шаге 1. Создание получателя.

  2. Поставщик данных создает общего ресурса, который представляет собой именованный объект, содержащий коллекцию таблиц, зарегистрированных в хранилище метаданных каталога Unity в учетной записи поставщика.

    Дополнительные сведения см. в статье Создание общих папок и управление ими для delta Sharing.

  3. Поставщик данных предоставляет получателю доступ к общей папке.

    Дополнительные сведения см. в статье Управление доступом к общим папкам данных Delta Sharing (для поставщиков).

  4. Поставщик данных отправляет ссылку активации получателю через безопасный канал, а также инструкции по использованию ссылки активации для скачивания файла учетных данных, который получатель будет использовать для установления безопасного подключения к поставщику данных для получения общих данных.

    Для получения деталей см. шаг 2: получение ссылки активации.

  5. Получатель данных следует ссылке активации для скачивания файла учетных данных, а затем использует файл учетных данных для доступа к общим данным.

    Общие данные доступны только для чтения. Пользователи могут получить доступ к данным с помощью выбранной платформы или инструментов.

    Дополнительные сведения см. в разделе Чтение общих данных с помощью открытого общего доступа Delta Shared (для получателей).

Конфигурации для конкретного поставщика

Многие поставщики имеют собственные сети Delta Sharing для общего доступа. Инструкции по совместному использованию см. в следующих примерах:

Рекомендации по настройке и безопасности провайдера для открытого доступа

Хорошее управление маркерами — это ключ к безопасному обмену данными при использовании открытой модели общего доступа:

  • Поставщики данных в Azure Databricks, которые намерены использовать открытый общий доступ при предоставлении общих ресурсов, должны настроить время существования маркера получателя по умолчанию, когда они включают Delta Sharing для хранилища метаданных каталога Unity. Databricks рекомендует устанавливать конечный срок действия маркеров. См. Включение разностного общего доступа в хранилище метаданных.
  • Если необходимо изменить время существования маркера по умолчанию, см. раздел "Изменить время существования маркера получателя".
  • Поощряйте получателей безопасно управлять скачанным файлом учетных данных.
  • Дополнительные сведения об управлении маркерами и безопасности открытого общего доступа см. в разделе "Управление маркерами получателя (открытый общий доступ)".

Поставщики данных могут обеспечить дополнительную безопасность, назначив списки IP-доступа, чтобы ограничить доступ получателя к определенным сетевым расположениям. См. раздел "Ограничить доступ получателей разностного доступа" с помощью списков IP-доступа (открытый общий доступ).