DatabricksIQ 信任和安全

Databricks 了解数据的重要性,以及使用平台和 DatabricksIQ 支持的功能时你对我们的信任。 Databricks 致力于最高数据保护标准,并实施了严格的措施,以确保提交到 DatabricksIQ 功能的信息受到保护。

  • 你的数据仍然保密。
    • Databricks 不会使用您提交到这些功能中的数据来训练生成基础模型。同时,Databricks 也不会使用这些数据来为其他客户生成建议。
    • 我们的模型合作伙伴不会保留通过这些功能提交的数据,即使用于滥用监视。 我们的合作伙伴支持的 AI 辅助功能使用模型合作伙伴提供的零数据保留终结点。
  • 防止有害输出。 Databricks 还使用 Azure OpenAI 内容筛选来保护用户免受有害内容的影响。 此外,Databricks 还对数千个模拟用户交互进行了广泛评估,以确保为防止有害内容、破解操作、不安全代码生成和第三方版权内容使用而实施的保护是有效的。
  • Databricks 仅使用为了提供服务而所需的数据。 仅当与 DatabricksIQ 支持的功能交互时,才会发送数据。 Databricks 发送提示、相关的表元数据和值、错误以及输入代码或查询,以帮助返回更相关的结果。 Databricks 不会将其他行级数据发送到第三方模型。
  • 数据在传输过程中受到保护。 Databricks 和模型合作伙伴之间的所有流量都使用行业标准 TLS 加密在传输中加密。
  • Databricks 提供数据驻留控制。 DatabricksIQ 驱动的功能是指定服务,遵循数据驻留边界规定。 有关详细信息,请参阅 Databricks 地理位置:数据驻留Databricks 指定服务

有关 Databricks 助手隐私的详细信息,请参阅 隐私和安全

合作伙伴支持的 AI 辅助功能设置管理的功能

合作伙伴支持的 AI 是指 Azure OpenAI 服务。 下面是由 合作伙伴支持的 AI 辅助功能设置管理的功能 细分:

功能 模型托管在何处? 合作伙伴支持的 AI 设置控制?
Databricks 助手聊天 Azure OpenAI 服务
快速修复 Azure OpenAI 服务
AI 生成的 UC 注释 合规性安全配置文件(CSP)工作区:Azure OpenAI 服务 是,适用于所有 CSP 工作区。
AI/BI 仪表板 AI 辅助可视化效果和配套 Genie 空间 Azure OpenAI 服务
Genie Azure OpenAI 服务
Databricks Assistant 自动完成 Databricks 托管的模型
智能搜索 Azure OpenAI 服务

为 Databricks 助手使用 Databricks 托管的模型

重要说明

此功能目前以公共预览版提供。

了解如何使用 Databricks 托管的模型为 Databricks 助手提供支持。 本部分介绍其工作原理以及使用方式。

工作原理

下图概述了 Databricks 托管的模型如何为 Databricks 助手提供支持。

由 Databricks 托管的模型提供支持的 Databricks 助手工作流示意图。

  1. 用户可以通过以下方式提示 Databricks Assistant:键入代码或问题,选择 诊断错误,或将某个单元格高亮显示。
  2. Databricks 将元数据附加到请求,并将其发送到 Databricks 托管的大型语言模型 (LLM)。 所有数据在静止时都被加密。 客户可以使用客户管理的密钥 (CMK)。
  3. 用户请求将发送到 Databricks 托管的模型。

Databricks 托管的模型使用 Meta Llama 3.x

含 Databricks 托管模型的 Databricks 助手目前使用 Meta Llama 3 构建。 Meta Llama 3 根据 Meta Llama 3 社区 许可证获得许可,版权所有© Meta Platforms, Inc. 保留所有权利。

有关助手的 Databricks 托管模型的常见问题解答

我可以拥有自己的专用模型服务实例吗?

现在不行。 此预览版使用由 Databricks 管理和保护的 模型服务终结点。 模型服务终结点是无状态的,通过多层隔离进行保护,并实现以下安全控制来保护数据:

  • 客户对模型服务发出的每个请求都经过逻辑隔离、身份验证和授权。
  • Mosaic AI 模型服务对静态的数据进行加密(AES-256),并对传输中的数据加密(TLS 1.2+)。

发送到模型的元数据是否遵循用户的 Unity Catalog 权限?

是的,发送到模型的所有数据都尊重用户的 Unity Catalog 权限。 例如,它不会发送与用户无权查看的表相关的元数据。

数据存储在哪里?

Databricks 助手的聊天历史记录与笔记本一起存储在控制平面数据库中。 控制平面数据库是 AES-256 位加密的,需要控制加密密钥的客户可以利用“客户管理的密钥”功能。

注意

  • 与其他工作区对象一样,Databricks 助手聊天历史记录的保持期限定为对象本身的生命周期。 如果用户删除笔记本,则会在 30 天内删除它和任何关联的聊天历史记录。
  • 如果笔记本与其他用户共享,则历史聊天记录也对该用户可见,除非事先清除该记录。
  • 如果导出笔记本,历史聊天记录不会随它一起导出。
  • 如果管理员有权访问笔记本,他们可以打开它并查看历史聊天记录。

是否可以为模型自带 API 密钥或托管自己的模型?

现在不行。 Databricks 助手完全由 Databricks 管理和托管。 助手功能在很大程度上依赖于模型服务功能(例如函数调用)、性能和质量。 Databricks 持续评估新模型以获得最佳性能,并可能在此功能的未来版本中更新模型。

谁拥有输出数据? 如果助手生成代码,则谁拥有该 IP?

客户拥有自己的输出。

选择不使用 Databricks 托管模型

若要选择不使用 Databricks 托管模型:

  1. 单击 Databricks 工作区顶部栏中的用户名。
  2. 从菜单中选择“预览版”
  3. 关闭“使用含 Databricks 托管模型的助手”

若要了解有关管理预览的详细信息,请参阅管理 Azure Databricks 预览版