Delta Sharing オープン共有プロトコルを使用してデータを共有する (プロバイダーの場合)
この記事では、プロバイダーが Delta Sharing オープン共有プロトコルを使って、Unity Catalog 対応の Azure Databricks ワークスペースのデータを、任意の場所にいて任意のコンピューティング プラットフォームを使っている任意のユーザーと共有する方法の概要について説明します。
注
データ受信者 (データの共有対象であるユーザーまたはユーザー グループ) の場合は、「Delta Sharing を使用した共有データへのアクセス (受信者の場合)」を参照してください。
Delta Sharing オープン共有プロトコルを使用する必要があるユーザー
Delta Sharing を使用してデータを共有するには、次の 3 つの方法があります。
この記事で取り上げられている Databricks オープン共有プロトコル。これを使用して、Unity Catalog 対応の Databricks ワークスペースで管理するデータを、任意のコンピューティング プラットフォーム上のユーザーと共有できます。
このアプローチでは、Azure Databricks に組み込まれている Delta Sharing サーバーを使用します。これは、データを Unity Catalog を使って管理するときと、Databricks を使用していないか、Unity Catalog 対応の Databricks ワークスペースにアクセスできないユーザーと共有するときに便利です。 プロバイダー側で Unity Catalog と統合することにより、プロバイダーでのセットアップとガバナンスが簡素化されます。
オープンソースの Delta Sharing サーバーのカスタマー マネージド実装。これを使用して、Databricks かどうかを問わず、任意のプラットフォームから任意のプラットフォームに共有できます。
github.com/delta-io/delta-sharing を参照してください。
Databricks 間共有プロトコル。これを使用して、Unity Catalog 対応のワークスペースからのデータを、Unity Catalog 対応の Databricks ワークスペースへのアクセス権を同様に持っているユーザーと共有できます。
「Delta Sharing の Databricks 間プロトコルを使用してデータを共有する (プロバイダーの場合)」を参照してください。
Delta Sharing の概要と、これら 3 つのアプローチの詳細については、「Delta Sharing とは」を参照してください。
Delta Sharing オープン共有ワークフロー
このセクションでは、オープン共有ワークフローの大まかな概要を説明し、各手順の詳細なドキュメントへのリンクを示します。
Delta Sharing オープン共有モデルのしくみは次のとおりです。
データ プロバイダーによって受信者が作成されます。これは、データ プロバイダーがデータを共有する相手であるユーザーまたはユーザー グループを表す名前付きオブジェクトです。
データ プロバイダーによって受信者が作成されると、Azure Databricks によって、トークン、トークンを含む資格情報ファイル、および、資格情報ファイルにアクセスするためにデータ プロバイダーが受信者に送信できるアクティブ化リンクが生成されます。
詳細については、「手順 1: 受信者を作成する」を参照してください。
データ プロバイダーによって共有が作成されます。これは、プロバイダーのアカウントの Unity Catalog メタストアに登録されているテーブルのコレクションを含む名前付きオブジェクトです。
詳細については、「Delta Sharing の共有を作成および管理する」を参照してください。
データ プロバイダーが、受信者に共有へのアクセス権を付与します。
詳細については、「Delta Sharing データ共有へのアクセスを管理する (プロバイダーの場合)」を参照してください。
アクティブ化リンクと、そのアクティブ化リンクを使用して資格情報ファイルをダウンロードするための指示を、セキュリティで保護されたチャネル経由で、データ プロバイダーが受信者に送信します。受信者はこれらを使用して、セキュリティで保護された接続をデータ プロバイダーとの間で確立し、共有されたデータを受信します。
詳細については、「手順 2: アクティブ化リンクを取得する」を参照してください。
データ受信者は、アクティブ化リンクに従って資格情報ファイルをダウンロードし、この資格情報ファイルを使用して共有対象のデータにアクセスします。
共有対象のデータは読み取り専用です。 ユーザーは、自分のプラットフォーム、または任意のツールを使用してデータにアクセスできます。
詳しくは、「Delta Sharing オープン共有 (受信者用) を使用して共有されたデータを読み取る」を参照してください。
プロバイダー固有の構成
多くのプロバイダーには、独自のデルタシェアリングネットワークがあります。 特定の共有手順については、次の例を参照してください。
オープン共有のプロバイダーのセットアップとセキュリティに関する考慮事項
オープン共有モデルを使用するときは、データを安全に共有するために適切なトークン管理が重要です。
- 共有を提供するときにオープン共有を使用する Azure Databricks 上のデータ プロバイダーは、Unity カタログメタストアで差分共有を有効にするときに、既定の受信者トークンの有効期間を構成する必要があります。 Databricks では、トークンの有効期限を構成することをお勧めしています。 「メタストアでの Delta Sharing 有効化」を参照してください。
- 既定のトークンの有効期間を変更する必要がある場合は、「受信者トークンの有効期間を変更する」を参照してください。
- ダウンロードした資格情報ファイルを安全に管理するよう、受信者に注意喚起します。
- トークン管理とオープン共有セキュリティの詳細については、「受信者トークンを管理する (オープン共有)」を参照してください。
データ プロバイダーは、IP アクセス リストを割り当てて受信者のアクセスを特定のネットワークの場所に制限することによって、セキュリティを強化できます。 「IP アクセス リストを使用して Delta Sharing の受信者のアクセスを制限する (オープン共有)」を参照してください。