DBFS とは

DBFS という用語は、プラットフォームの 2 つの部分を記述するために使用されます。

• DBFS ルート
• DBFS マウント

DBFS ルートまたは DBFS マウントを使用したデータの保存とアクセスは非推奨のパターンであり、Databricks では推奨されません。 ファイルの操作に関する推奨事項については、「Azure Databricks でのファイルの操作」を参照してください。

Databricks ファイル システムとは

DBFS という用語は、Azure Databricks がクラウドベースのストレージを操作するために使用する分散ファイル システムを記述する Databricks ファイル システムに由来します。

DBFS に関連付けられている基になるテクノロジは、引き続き Azure Databricks プラットフォームの一部です。 たとえば、dbfs:/ は、Unity Catalog ボリュームを操作するときのオプションのスキームです。

DBFS に関する過去および現在の警告と注意事項は、DBFS ルートまたは DBFS マウントにのみ適用されます。

DBFS と Unity Catalog の連携方法

Databricks では、Unity Catalog を使用してすべてのデータへのアクセスを管理することをお勧めします。

Unity Catalog では、組織がクラウド オブジェクト ストレージ内のデータに最小限の特権でアクセスすることを支援するために、外部の場所、ストレージ資格情報、ボリュームの概念が追加されています。

一部のセキュリティ構成は、Unity Catalog で管理されるリソースと DBFS への直接アクセスを提供します。これは主に、Unity Catalog への移行が完了しているか、部分的に移行が完了している組織のためのものです。 「DBFS と Unity Catalog のベスト プラクティス」をご覧ください。

DBFS ルートとは

"DBFS ルート" は、ワークスペース作成時にプロビジョニングされる Azure Databricks ワークスペースを含むクラウド アカウント内の保存場所です。 DBFS ルートの構成とデプロイの詳細については、Azure Databricks のクイック スタートを参照してください。

Databricks は、運用データ、ライブラリ、またはスクリプトを DBFS ルート内に保存することは推奨していません。 「DBFS ルートの使用方法に関する推奨事項」を参照してください。

DBFS ルートを含むストレージ アカウントのカスタマー マネージド キーを構成するには、DBFS ルートのカスタマー マネージド キーに関する記事を参照してください。

DBFS ルートを含むストレージ アカウントへのネットワーク アクセスを制限するには、「ワークスペース ストレージ アカウントのファイアウォール サポートを有効にする」を参照してください。

オブジェクト ストレージをマウントする

Note

DBFS マウントは非推奨です。 Databricks では、Unity Catalog ボリュームを使用することをお勧めします。 「Unity Catalog ボリュームとは」を参照してください。

オブジェクト ストレージを DBFS にマウントすると、ローカル ファイル システム上のオブジェクトと同じように、オブジェクト ストレージ内のオブジェクトにアクセスできるようになります。 マウントには、ストレージへのアクセスに必要な Hadoop 構成が保存されます。 詳細については、「Azure Databricks へのクラウド オブジェクト ストレージのマウント」を参照してください。