DatabricksIQ の信頼性と安全性
Databricks は、お客様がプラットフォームと DatabricksIQ を利用する機能を使用する際に、お客様のデータの重要性と信頼を理解します。 Databricks は、最高基準のデータ保護に取り組んでおり、DatabricksIQ を利用した機能に送信する情報が確実に保護されるように、厳格な対策を実施しています。
- お客様のデータは機密のままです。
- Databricks は、これらの機能に送信したデータを使用して生成基盤モデルをトレーニングしません。また、Databricks では、このデータを使用して他の顧客に表示される提案を生成しません。
- モデル パートナーは、不正使用の監視であっても、これらの機能を通じて送信されたデータを保持しません。 パートナーを活用した AI 支援機能では、モデル パートナーからのゼロ データ保持エンドポイントが使用されます。
- 有害な出力からの保護。 Databricks では、Azure OpenAI のコンテンツ フィルタリング も使用して、有害なコンテンツからユーザーを保護します。 さらに、Databricks は、有害なコンテンツ、ジェイルブレイク、安全でないコードの生成、サード パーティの著作権コンテンツの使用を防ぐために導入された保護が効果的であることを確認するために、何千ものユーザー操作をシミュレートして広範な評価を行いました。
- Databricks では、サービスの提供に必要なデータのみを使用しています。 データは、DatabricksIQ を利用した機能を操作する場合にのみ送信されます。 Databricks は、より関連性の高い結果を返すために、プロンプト、関連するテーブルのメタデータと値、エラー、入力コードまたはクエリを送信します。 Databricks は、他の行レベルのデータをサード パーティ モデルに送信しません。
- データは送信中も保護されます。 Databricks とモデル パートナー間のすべてのトラフィックは、業界標準の TLS 暗号化を使用して転送中に暗号化されます。
- Databricks では、データ所在地の制御が提供されます。 DatabricksIQ を利用する機能は、指定されたサービスであり、データ所在地の境界に準拠しています。 詳細については、「Databricks Geos: Data residency」と「Databricks Designated Services」を参照してください。
Databricks Assistant のプライバシーの詳細については、「プライバシーとセキュリティの」を参照してください。
Partner を利用した AI 支援機能によって管理される機能設定
パートナーが利用する AI は、Azure OpenAI サービスを指します。 Partner を利用した AI 支援機能設定によって制御される機能の内訳を次に示します。
| 機能 | モデルはどこでホストされますか? | Partner を利用した AI 設定によって制御されますか? |
|---|---|---|
| Databricks Assistant チャット | Azure OpenAI Service | はい |
| クイック修復 | Azure OpenAI Service | はい |
| AI によって生成された UC コメント | コンプライアンス セキュリティ プロファイル (CSP) ワークスペース: Azure OpenAI サービス | はい。すべての CSP ワークスペースに対して。 |
| AI/BI ダッシュボードの AI 支援型の視覚化とコンパニオン Genie スペース | Azure OpenAI Service | はい |
| Genie | Azure OpenAI Service | はい |
| Databricks Assistant オートコンプリート | Databricks でホストされるモデル | いいえ |
| インテリジェント検索 | Azure OpenAI Service | はい |
Databricks Assistant に Databricks でホストされるモデルを使用する
重要
この機能はパブリック プレビュー段階にあります。
Databricks でホストされるモデルを使用して Databricks Assistant に電力を供給する方法について説明します。 このセクションでは、そのしくみと使用方法について説明します。
しくみ
次の図は、Databricks でホストされるモデルが Databricks Assistant にどのように機能するかを示しています。
- ユーザーは、コードまたは質問を入力するか、[エラーの診断] を選択するか、セルを強調表示することで、Databricks Assistant にメッセージを表示します。
- Databricks はメタデータを要求にアタッチし、Databricks でホストされる大言語モデル (LLM) に送信します。 すべてのデータは保存時に暗号化されます。 顧客はカスタマー マネージド キー (CMK) を使用できます。
- ユーザー要求は、Databricks でホストされるモデルに送信されます。
Databricks でホストされるモデルでは Meta Llama 3.x が使用されます
Databricks でホストされるモデルを備えた Databricks Assistant は、現在、Meta Llama 3 で構築されています。 Meta Llama 3 は、Meta Llama 3 Community License、Copyright © Meta Platforms, Inc. の下でライセンスされています。All Rights Reserved。
Databricks でホストされる Assistant 用モデルに関する FAQ
独自のプライベート モデル サービング インスタンスを保有することはできますか?
現時点ではできません。 このプレビューでは、Databricks によって管理およびセキュリティで保護されたエンドポイント にサービスを提供する モデルを使用します。 エンドポイントを提供するモデルはステートレスであり、複数の分離レイヤーによって保護され、データを保護するために次のセキュリティ制御を実装します。
- Model Serving に対するすべての顧客要求は、論理的に分離され、認証され、承認されます。
- Mosaic AI Model Serving は、保存中のすべてのデータ (AES-256) と転送中 (TLS 1.2 以降) を暗号化します。
モデルに送信されるメタデータは、ユーザーの Unity カタログのアクセス許可を尊重しますか?
はい。モデルに送信されるすべてのデータは、ユーザーの Unity カタログのアクセス許可を尊重します。 たとえば、ユーザーに表示権限がないテーブルに関連するメタデータは送信されません。
データはどこに格納されますか?
Databricks Assistant のチャット履歴は、ノートブックと共にコントロール プレーン データベースに格納されます。 コントロール プレーン データベースは AES-256 ビットで暗号化されており、暗号化キーを制御する必要があるお客様は、Customer-Managed キー機能を利用できます。
注
- 他のワークスペース オブジェクトと同様に、Databricks Assistant チャット履歴の保持期間は、オブジェクト自体のライフサイクルにスコープが設定されます。 ユーザーがノートブックを削除すると、そのノートブックと関連するチャット履歴は 30 日以内に削除されます。
- ノートブックが別のユーザーと共有されている場合、最初に消去されない限り、チャット履歴もそのユーザーに表示されます。
- ノートブックがエクスポートされた場合、チャット履歴はエクスポートされません。
- 管理者がノートブックにアクセスできる場合は、ノートブックを開いてチャット履歴を表示できます。
自分のモデル用に独自の API キーを持ち込んだり、独自のモデルをホストしたりできますか?
現時点ではできません。 Databricks Assistant は完全に管理され、Databricks によってホストされています。 アシスタント機能は、モデル提供機能 (関数呼び出しなど)、パフォーマンス、品質に大きく依存します。 Databricks は、最適なパフォーマンスを得るための新しいモデルを継続的に評価し、この機能の将来のバージョンでモデルを更新する可能性があります。
出力データの所有者は誰ですか？ Assistant がコードを生成した場合、その IP を所有するユーザーは誰ですか?
顧客は独自の出力を所有しています。
Databricks でホストされるモデルの使用をオプトアウトする
Databricks でホストされるモデルの使用をオプトアウトするには:
- Databricks ワークスペースの上部バーにあるユーザー名をクリックします。
- メニューから [プレビュー]を選択します。
- [Databricks でホストされるモデルでアシスタントを使用する] をオフにします。
プレビューの管理の詳細については、「Azure Databricks Previewsの管理」を参照してください。