Databricks Assistant の影響を測定する
この記事では、導入、管理、および報告された生産性の向上に関する Databricks Assistant の影響を測定する方法について説明します。
要件
Databricks Assistant の影響を測定するには、次のものが必要です。
- システム テーブルを有効にするために必要なアカウント管理者特権。 「システム テーブルを有効にする」を参照してください。
- チームからアシスタントに関する主観的なフィードバックを得るための内部アンケート。
データとメトリック
システム テーブルとアンケートから生データを取得します。 アシスタントの影響を理解するには、データを分析し、メトリックとしてレポートする必要があります。 メトリックは、アシスタントの影響に関連する特定の側面またはアクティビティを測定するために使用する計算値です。 この記事では、メトリックを 測定とも言います。
アシスタントの影響を測定するためのヒント
組織が Databricks Assistant をどのように使用しているかを理解するには、まず、Databricks Assistant との導入とエンゲージメントを測定します。 このデータは、システム テーブルから計算できます。
データを定期的に確認し、共有ダッシュボードで簡単に使用できるようにします。 ダッシュボードの例とテンプレートについては、 Databricks Assistant システム テーブルのリファレンスと例を参照してください。
アシスタントの影響メトリック
システム テーブルとユーザー フィードバックの両方から、アシスタントへの影響に関して推奨される対策を次に示します。 メトリックの計算の例については、GitHub から Assistant イベント ダッシュボード ファイル をダウンロードし、JSON で計算を読み取ります。 ダッシュボード ファイルをインポートする方法については、「 ダッシュボード ファイルのインポート」を参照してください。
組織の調査は、アシスタントとのエンゲージメントの有効性を理解するのにも役立ちます。 推奨アンケートの質問を参照してください。
| メジャー | Definition | 段階 | データ ソース |
|---|---|---|---|
| 全体的な上位ユーザー | 特定の期間にアシスタントと最も頻繁に対話するユーザー | 養子縁組 | Databricks Assistant システム テーブルデータから計算します。 |
| 申請データ: ワークスペースごとおよび合計 | ワークスペースごとおよびアカウントごとにアシスタントに送信された要求の数 | 養子縁組 | Databricks Assistant システム テーブルデータから計算します。 |
| 日次と月次のアクティブ ユーザー | 特定の日に 1 つ以上の提案を受信して受け入れた、または 1+ チャットに参加した一意のユーザー。 | エンゲージメント | Databricks Assistant システム テーブルデータから計算します。 |
| ワークスペースあたりのアクティブ ユーザー数 | アシスタントと対話する特定のワークスペース内の一意のユーザー | エンゲージメント | Databricks Assistant システム テーブルデータから計算します。 |
| Databricks Assistant を使用した上位のジョブ ロール | 組織で識別された各ロールのアシスタントを使用するユーザーの数 | エンゲージメント | 組織のアンケート |
| アシスタントの上位タスク | アシスタントが役立つ最も一般的なタスク | エンゲージメント | 組織のアンケート |
| アシスタントを使用する頻度 | ユーザーごとのアシスタントの使用頻度の自己報告 | エンゲージメント | 組織のアンケート |
| アシスタントの使用の上位領域 | 自己報告の使用領域: SQL エディター、ノートブック、またはその両方 | エンゲージメント | 組織のアンケート |
| アシスタントのヘルプに関するユーザー満足度 | アシスタントの回答に対する自己報告の満足度 (1 から 5 のスケール) | ユーザー満足度 | 組織のアンケート |
| ユーザーの生産性の向上 | アシスタントを使用して得られた生産性が 1 から 5 のスケールで自己報告された増加 | ユーザー満足度 | 組織のアンケート |
| ユーザーがアシスタントを使用して保存する時間 | アシスタントを使用してタスクを完了することで保存された自己報告された時間の割合 | ユーザー満足度 | 組織のアンケート |
推奨されるアンケートの質問
システム テーブルでは、組織で Databricks Assistant を使用する方法に関するすべての情報がキャプチャされるわけではありません。 以下のようなアンケートの質問を使用して、組織がアシスタントをどのように使用しているかを理解します。
- あなたの役割は何ですか? 組織内のロールを一覧表示する
- アシスタントはどのくらいの頻度で使用しますか?
- 1 時間ごと
- 毎日
- 週単位
- 月単位
- AI アシスタントはどこで使用しますか?
- SQL エディター
- ノートブック
- 両方
- アシスタントの主なユース ケースは何ですか?
- エラーの修正/トラブルシューティング
- コードの記述に関するヘルプ
- コードのリファクタリング
- SQL クエリの記述
- 単体テストの記述
- ドキュメントの参照
- アシスタントの回答にどの程度満足していますか? 1 から 5 のスケール、非常に満足していない
- AI アシスタントを使用して以来、生産性が向上したと言えますか? 1 から 5 のスケール。生産性が大幅に低下し、生産性が大幅に向上します
- アシスタントを使用して平均タスクを節約するには、どのくらいの時間がかかりますか?
- 0-10%
- 10-30%
- 30 ～ 50%
- 50-70%
- 70% 以上