Mäta påverkan på Databricks Assistant
Den här artikeln innehåller information om hur databricksassistentens inverkan mäts när det gäller implementering, tillgänglighet och rapporterade produktivitetsvinster.
Krav
För att mäta effekten av Databricks Assistant behöver du:
- Kontoadministratörsbehörigheter som krävs för att aktivera systemtabeller. Se Aktivera systemtabeller.
- En intern undersökning för att få subjektiv feedback om assistenten från ditt team.
Data jämfört med mått
Du får rådata från systemtabellerna och en undersökning. För att förstå assistentens påverkan måste du analysera och rapportera data som mått. Mått är beräknade värden som du använder för att mäta specifika aspekter eller aktiviteter som är relaterade till assistentens påverkan. Den här artikeln refererar också till mått som mått.
Tips för att mäta assistentens påverkan
För att förstå hur din organisation använder Databricks Assistant börjar du med att mäta dess implementering och engagemang med Databricks Assistant. Dessa data kan beräknas från systemtabeller.
Granska dina data rutinmässigt och gör dem lättillgängliga på en delad instrumentpanel. Ett instrumentpanelsexempel och en mall finns i Databricks Assistant systemtabellreferens och exempel.
Mått för assistentpåverkan
Följande är rekommenderade mått på assistant-påverkan, både från systemtabeller och från användarfeedback. Exempel på måttberäkningar är att ladda ned instrumentpanelsfilen Assistant events från GitHub och läsa beräkningarna i JSON. Information om hur du importerar en instrumentpanelsfil finns i Importera en instrumentpanelsfil
Genom att undersöka din organisation kan du också förstå hur effektivt det är med assistenten. Se Rekommenderade undersökningsfrågor.
| Mått | Definition | Fas | Data source |
|---|---|---|---|
| De främsta användarna överlag | Användare under en viss period som interagerar oftast med assistenten | Adoption | Beräkna från Databricks Assistant-systemtabelldata . |
| Inskickade data: per arbetsyta och totalt | Antal begäranden som skickas till assistenten per arbetsyta och per konto | Adoption | Beräkna från Databricks Assistant-systemtabelldata . |
| Aktiva användare per dag och månad | Unika användare som har fått och accepterat 1+ förslag eller deltagit i 1+ chattar en viss dag. | Engagemang | Beräkna från Databricks Assistant-systemtabelldata . |
| Aktiva användare per arbetsyta | Unika användare på en viss arbetsyta som interagerar med assistenten | Engagemang | Beräkna från Databricks Assistant-systemtabelldata . |
| Toppjobbsroller med Hjälp av Databricks Assistant | Antal personer från varje roll som identifieras i din organisation som använder Assistent | Engagemang | Undersökning av din organisation |
| De viktigaste uppgifterna för Assistent | De vanligaste uppgifterna assistenten hjälper till med | Engagemang | Undersökning av din organisation |
| Hur ofta använder du Assistent | Självrapporterad frekvens för assistentanvändning per användare | Engagemang | Undersökning av din organisation |
| De översta områdena i Assistentanvändning | Självrapporterade användningsområden: SQL-redigerare, notebook-filer eller båda | Engagemang | Undersökning av din organisation |
| Användarnöjdhet med assistenthjälp | Självrapporterad tillfredsställelse med assistentens svar på en skala från 1–5 | Användarnöjdhet | Undersökning av din organisation |
| Ökad användarproduktivitet | Självrapporterad ökning av produktiviteten med hjälp av Assistant på en skala från 1–5 | Användarnöjdhet | Undersökning av din organisation |
| Hur lång tid användarna sparar med hjälp av assistenten | Självrapporterad procentandel av tiden som sparas med hjälp av Assistent för att slutföra uppgifter | Användarnöjdhet | Undersökning av din organisation |
Rekommenderade undersökningsfrågor
Systemtabeller samlar inte in all information om hur din organisation använder Databricks Assistant. Använd enkätfrågor, till exempel de nedan, för att förstå hur din organisation använder Assistent.
- Vilken är din roll? Lista roller i din organisation
- Hur ofta använder du Assistent?
- Varje timme
- Varje dag
- Varje vecka
- Månadsvis
- Var använder du AI-assistenten?
- SQL-redigerare
- Notebook-filer
- Båda
- Vilka är dina huvudsakliga användningsfall för Assistent?
- Åtgärda fel/felsöka
- Hjälp med att skriva kod
- Kodrefaktorisering
- Skriva SQL-frågor
- Skriva enhetstester
- Söka efter dokumentation
- Hur nöjd är du med assistentens svar? Skala 1-5, Inte nöjd med Extremt nöjd
- Skulle du säga att du är mer produktiv sedan du använde AI-assistenten? Skala 1-5, Mycket mindre produktiv till Mycket mer produktiv
- Hur lång tid tror du att du sparar på en genomsnittlig uppgift med hjälp av assistenten?
- 0-10%
- 10-30%
- 30–50 %
- 50-70%
- Mer än 70 %