Měření dopadu Pomocníka pro Databricks
Tento článek obsahuje informace o měření dopadu pomocníka Databricks z hlediska přijetí, egagementu a nahlášeného zvýšení produktivity.
Požadavky
K měření dopadu Databricks Assistantu potřebujete:
- Oprávnění správce účtu požadovaná k povolení systémových tabulek. Viz Povolení systémových tabulek.
- Interní průzkum, který vám umožní získat subjektivní zpětnou vazbu k asistentovi od vašeho týmu.
Data vs. metriky
Z systémových tabulek a průzkumu získáte nezpracovaná data. Abyste porozuměli dopadu Pomocníka, musíte analyzovat a hlásit data jako metriky. Metriky jsou počítané hodnoty, které používáte k měření konkrétních aspektů nebo aktivit souvisejících s dopadem pomocníka. Tento článek se také týká metrik jako měr.
Tipy pro měření dopadu pomocníka
Abyste pochopili, jak vaše organizace používá Databricks Assistant, začněte měřením jeho přijetí a zapojení pomocí Databricks Assistantu. Tato data lze vypočítat ze systémových tabulek.
Pravidelně kontrolujte data a zpřístupněte je na sdíleném řídicím panelu. Příklad řídicího panelu a šablona najdete v referenčních informacích k systémové tabulce a příkladu nástroje Databricks Assistant.
Metriky dopadu pomocníka
Níže najdete doporučené míry dopadu pomocníka, a to jak ze systémových tabulek, tak z zpětné vazby uživatelů. V příkladech výpočtů metrik si stáhněte soubor řídicího panelu událostí Pomocníka z GitHubu a přečtěte si výpočty ve formátu JSON. Informace o importu souboru řídicího panelu najdete v tématu Import souboru řídicího panelu.
Průzkum vaší organizace vám také pomůže pochopit efektivitu jejího zapojení s asistentem. Podívejte se na doporučené otázky k průzkumu.
| Míra | Definice | Fáze | Zdroj dat |
|---|---|---|---|
| Celkový počet hlavních uživatelů | Uživatelé v daném období, kteří nejčastěji komunikují s asistentem | Adopce | Výpočet ze systémových dat systémových tabulek Databricks Assistant |
| Data odeslání: na pracovní prostor a celkový součet | Počet žádostí odeslaných asistentovi na pracovní prostor a na účet | Adopce | Výpočet ze systémových dat systémových tabulek Databricks Assistant |
| Aktivní uživatelé podle dne a měsíce | Jedineční uživatelé, kteří obdrželi a přijali 1+ návrhy nebo se zúčastnili 1+ chatů v daný den. | Zapojení | Výpočet ze systémových dat systémových tabulek Databricks Assistant |
| Aktivní uživatelé na pracovní prostor | Jedineční uživatelé v daném pracovním prostoru, kteří pracují s pomocníkem | Zapojení | Výpočet ze systémových dat systémových tabulek Databricks Assistant |
| Hlavní role úloh pomocí nástroje Databricks Assistant | Počet lidí z jednotlivých rolí identifikovaných ve vaší organizaci, kteří používají asistenta | Zapojení | Průzkum vaší organizace |
| Hlavní úkoly pomocníka | Nejběžnější pomocník s úlohami pomáhá s | Zapojení | Průzkum vaší organizace |
| Jak často používáte Pomocníka | Frekvence použití Pomocníka na uživatele | Zapojení | Průzkum vaší organizace |
| Hlavní oblasti použití Pomocníka | Oblasti využití nahlášené vlastním uživatelem: editor SQL, poznámkové bloky nebo obojí | Zapojení | Průzkum vaší organizace |
| Spokojenost uživatelů s nápovědou Pomocníka | Spokojenost nahlášená svým držitelem s odpověďmi asistenta v měřítku 1–5 | Spokojenost uživatelů | Průzkum vaší organizace |
| Zvýšení produktivity uživatelů | Samoobslužné zvýšení produktivity získané pomocí Pomocníka ve velkém měřítku 1–5 | Spokojenost uživatelů | Průzkum vaší organizace |
| Doba, kterou uživatelé ušetří pomocí Pomocníka | Procento času uloženého pomocí Pomocníka k dokončení úkolů | Spokojenost uživatelů | Průzkum vaší organizace |
Doporučené dotazy k průzkumu
Systémové tabulky nezachytí všechny informace o tom, jak vaše organizace používá Databricks Assistant. Pomocí otázek průzkumu, jako jsou ty, které jsou uvedené níže, vám porozumí, jak vaše organizace používá Pomocníka.
- Jaká je vaše role? Výpis rolí ve vaší organizaci
- Jak často používáte Pomocníka?
- Hodinově
- denně
- týdně
- měsíčně
- Kde používáte Pomocníka pro AI?
- Editor SQL
- Poznámkové bloky
- Oba
- Jaké jsou hlavní případy použití pomocníka?
- Oprava chyb / řešení potíží
- Pomoc s psaním kódu
- Refaktoring kódu
- Psaní dotazů SQL
- Psaní testů jednotek
- Vyhledání dokumentace
- Jak jste spokojen(a) s odpověďmi asistenta? Měřítko 1–5, Nesplněné na Velmi spokojené
- Od použití asistenta AI byste řekli, že jste produktivnější? Měřítko 1–5, mnohem nižší produktivita na mnohem vyšší produktivitu
- Kolik času věříte, že ušetříte průměrný úkol pomocí Pomocníka?
- 0-10%
- 10-30%
- 30-50%
- 50-70%
- Více než 70 %