測量 Databricks 小幫手影響
本文提供在採用、例如,以及報告生產力提升方面測量 Databricks Assistant 影響的相關信息。
需求
若要測量 Databricks Assistant 的影響,您需要:
- 啟用系統數據表所需的帳戶管理員許可權。 請參閱 啟用系統數據表。
- 內部調查,以收集您的團隊對助理的主觀反饋意見。
數據與計量
您可以從系統數據表和問卷取得原始數據。 若要瞭解小幫手的影響,您必須將數據分析和報告為計量。 指標是用來衡量與助理影響相關的特定層面或活動的計算值。 本文也會將計量 視為量值。
測量小幫手影響的秘訣
若要瞭解貴組織如何使用 Databricks Assistant,請從測量其採用與 Databricks Assistant 的參與開始。 您可以從系統資料表計算此資料。
定期檢閱您的數據,並在共用儀錶板中輕鬆取得。 如需儀表板範例和範本,請參閱 Databricks Assistant 系統數據表參考和範例。
助理影響計量
以下是系統數據表和用戶意見反應中助理影響的建議量值。 如需計量計算的範例,請從 GitHub 下載 Assistant 事件儀錶板檔案 ,並以 JSON 讀取計算。 若要瞭解如何匯入儀錶板檔案,請參閱 匯入儀表板檔案
調查您的組織也可協助您瞭解其與小幫手互動的有效性。 請參閱 建議的調查問題。
量值 | 定義 | 階段 | 資料來源 |
---|---|---|---|
整體上層使用者 | 在特定期間與小幫手互動頻率最高的使用者 | 採用 | 從 Databricks Assistant 系統表 中計算數據。 |
提交數據:每個工作區和總計 | 每個工作區和每個帳戶提交至小幫手的要求數目 | 採用 | 從 Databricks Assistant 系統數據表 數據計算。 |
依日和月的作用中使用者 | 已收到並接受 1+ 建議或參與指定日期的 1+ 聊天的唯一使用者。 | 參與 | 從 Databricks Assistant 系統數據表 數據計算。 |
每個工作區的作用中使用者 | 與小幫手互動的指定工作區中的唯一使用者 | 參與 | 從 Databricks Assistant 系統表 中計算數據。 |
使用 Databricks Assistant 的頂級工作角色 | 使用小幫手的組織中識別出每個角色的人員數目 | 參與 | 組織調查 |
小幫手的首要工作 | 最常見的工作小幫手有助於處理 | 參與 | 組織調查 |
您使用小幫手的頻率 | 每一使用者使用小幫手的自我報告頻率 | 參與 | 組織調查 |
小幫手使用的熱門區域 | 自我報告使用區域:SQL 編輯器、筆記本或兩者 | 參與 | 組織調查 |
對小幫手說明的用戶滿意度 | 自我回報對助理答案的滿意度為 1-5 | 用戶滿意度 | 組織調查 |
提高用戶生產力 | 以 1-5 規模使用小幫手提高生產力的自我報告增加 | 用戶滿意度 | 組織調查 |
使用者使用小幫手節省的時間量 | 使用小幫手完成工作所節省的時間自我報告百分比 | 用戶滿意度 | 組織調查 |
建議的調查問題
系統數據表不會擷取貴組織如何使用 Databricks Assistant 的所有資訊。 使用問卷問題,例如下列問題,以了解貴組織如何使用小幫手。
- 您的角色為何? 列出組織中的角色
- 您使用小幫手的頻率為何?
- 每小時
- 每日
- 每週
- 每月
- 您在哪裡使用 AI 助理?
- SQL 編輯器
- Notebooks
- 兩者
- 助理的主要使用案例為何?
- 修正錯誤/疑難解答
- 協助撰寫程序代碼
- 程式碼重構
- 撰寫 SQL 查詢
- 撰寫單元測試
- 查閱檔
- 您對助理的答案有多滿意? 縮放比例為 1-5,不符合極滿意
- 因為使用 AI 助理,您會說您更有生產力嗎? 規模為 1-5,生產力要低得多,更具生產力
- 您認為使用小幫手的平均工作節省多少時間?
- 0-10%
- 10-30%
- 30-50%
- 50-70%
- 超過 70%