度量 Databricks 助手影响

本文提供有关衡量 Databricks 助手在采用、例如,报告工作效率提升方面的影响的信息。

要求

若要衡量 Databricks 助手的影响,需要:

  • 启用系统表所需的帐户管理员权限。 请参阅启用系统表
  • 一项内部调查,用于从团队获取有关助手的主观反馈。

数据与指标

从系统表和调查中获取原始数据。 若要了解助手的影响,必须将数据分析和报告为指标。 指标是用于度量与助手影响相关的特定方面或活动的计算值。 本文还将指标称为 度量值

衡量助手影响的提示

若要了解组织如何使用 Databricks 助手,请首先衡量其采用和参与 Databricks 助手。 可以从系统表计算此数据。

定期查看数据,并使其在共享仪表板中轻松可用。 有关仪表板示例和模板,请参阅 Databricks Assistant 系统表参考和示例

助理影响指标

以下是从系统表和用户反馈中对助手影响的建议度量值。 有关指标计算的示例,请从 GitHub 下载 Assistant 事件仪表板文件 ,并读取 JSON 中的计算。 若要了解如何导入仪表板文件,请参阅 “导入仪表板文件”

调查组织还有助于了解其与助手互动的有效性。 请参阅 建议的调查问题

测量 定义 阶段 数据源
总体排名靠前的用户 与助手最频繁交互的给定时间段内的用户 采用 Databricks 助手系统表 数据计算。
提交数据:按工作区和总计 每个工作区和每个帐户提交到助手的请求数 采用 Databricks 助手系统表 数据计算。
按日和月划分的活动用户 已收到并接受 1+ 建议或参与给定日期的 1+ 聊天的唯一用户。 参与 Databricks 助手系统表 数据计算。
按工作区划分的活动用户 与助手交互的给定工作区中的唯一用户 参与 Databricks 助手系统表 数据计算。
使用 Databricks 助手的顶级作业角色 组织中标识的每个角色的人员数(使用助手) 参与 对组织的调查
助手的首要任务 最常见的任务助手可帮助完成 参与 对组织的调查
使用助手的频率 每个用户的助理使用自报告频率 参与 对组织的调查
助手使用的首要区域 自报告使用情况区域:SQL 编辑器、笔记本或两者 参与 对组织的调查
用户对助手帮助的满意度 自我报告对助手答案的满意度为 1- 5 用户满意度 对组织的调查
提高用户工作效率 自我报告在 1-5 的规模上使用助手提高了工作效率 用户满意度 对组织的调查
用户使用助手节省的时间 使用助手完成任务所保存的时间的自报告百分比 用户满意度 对组织的调查

系统表不会捕获有关组织如何使用 Databricks 助手的所有信息。 使用调查问题(如下面的问题)来了解组织如何使用助手。

  • 你的角色是什么? 列出组织中的角色
  • 使用助手的频率是多少?
    • 每小时
    • 每日
    • 每周
    • 每月
  • 使用 AI 助手的位置?
    • SQL 编辑器
    • Notebook
    • 两者都有
  • 助手的主要用例是什么?
    • 修复错误/故障排除
    • 帮助编写代码
    • 代码重构
    • 编写 SQL 查询
    • 编写单元测试
    • 查找文档
  • 你对助手答案的满意度如何? 1-5 的缩放比例,不满足到极满意
  • 使用 AI 助手后,你会说你更有效率吗? 1-5 的规模,工作效率要低得多,工作效率要高得多
  • 你认为你使用助手节省的平均任务需要多少时间?
    • 0-10%
    • 10-30%
    • 30-50%
    • 50-70%
    • 超过 70%