Misurare l'impatto di Databricks Assistant
Questo articolo fornisce informazioni sulla misurazione dell'impatto di Databricks Assistant in termini di adozione, egagement e miglioramenti della produttività segnalati.
Requisiti
Per misurare l'impatto di Databricks Assistant, è necessario:
- Sono necessari privilegi di amministratore dell'account per abilitare il sistema tables. Consulta Abilitare di sistema tables.
- Un sondaggio interno per get feedback soggettivo sull'Assistente dal tuo team.
Confronto tra dati e metriche
Hai get dati non elaborati dal sistema tables e da un sondaggio. Per comprendere l'impatto dell'Assistente, è necessario analizzare e segnalare i dati come metriche. Le metriche vengono calcolate values usate per misurare aspetti o attività specifici correlati all'impatto dell'Assistente. Questo articolo si riferisce anche alle metriche come misure.
Suggerimenti per misurare l'impatto dell'Assistente
Per comprendere come l'organizzazione usa Databricks Assistant, iniziare misurando l'adozione e l'impegno con Databricks Assistant. Questi dati possono essere calcolati dal sistema tables.
Esaminare i dati regolarmente e renderli facilmente disponibili in un dashboard condiviso. Per un esempio di dashboard e un modello, vedere il riferimento del sistema Databricks Assistant e l'esempio table.
Metriche di impatto dell'assistente
Di seguito sono riportate le misure consigliate dell'impatto dell'Assistente, sia dal sistema tables che dal feedback degli utenti. Per esempi di calcoli delle metriche, scaricare il file del dashboard degli eventi assistente da GitHub e leggere i calcoli in JSON. Per informazioni su come importare un file del dashboard, vedere Importare un file del dashboard
L'indagine dell'organizzazione consente anche di comprendere l'efficacia del suo coinvolgimento con Assistente. Vedere Domande consigliate sul sondaggio.
| Misura | Definizione | Fase | Origine dati |
|---|---|---|---|
| Utenti principali nel complesso | Utenti in un determinato periodo che interagiscono più frequentemente con Assistente | Adozione | Calcolare i dati di sistema table da Databricks Assistant. |
| Dati degli invii: per area di lavoro e totale | Numero di richieste inviate all'Assistente per area di lavoro e per account | Adozione | Calcolare dai dati del sistema di Databricks Assistant table. |
| Utenti attivi per giorno e mese | Utenti univoci che hanno ricevuto e accettato 1+ suggerimenti o hanno partecipato a 1+ chat in un determinato giorno. | Interazione | Calcola dai dati di sistema table di Databricks Assistant. |
| Utenti attivi per area di lavoro | Utenti univoci in una determinata area di lavoro che interagiscono con Assistente | Interazione | Calcolare dai dati del sistema Databricks Assistant table. |
| Ruoli principali del processo con Databricks Assistant | Numero di persone di ogni ruolo identificato nell'organizzazione che usano Assistente | Interazione | Sondaggio dell'organizzazione |
| Attività principali per Assistente | Assistente attività più comuni aiuta con | Interazione | Sondaggio dell'organizzazione |
| Frequenza con cui si usa Assistente | Frequenza auto-segnalata dell'uso dell'Assistente per utente | Interazione | Sondaggio dell'organizzazione |
| Aree principali dell'uso di Assistente | Aree di utilizzo auto-segnalate: editor SQL, notebook o entrambi | Interazione | Sondaggio dell'organizzazione |
| Assistenza per l'assistente per la soddisfazione degli utenti | Soddisfazione auto-segnalata con le risposte dell'Assistente su una scala di 1-5 | Soddisfazione dell'utente | Sondaggio dell'organizzazione |
| Miglioramenti nella produttività degli utenti | Aumento auto-segnalato della produttività ottenuto usando Assistente su una scala di 1-5 | Soddisfazione dell'utente | Sondaggio dell'organizzazione |
| Quantità di tempo che gli utenti risparmiano con Assistente | Percentuale di tempo autocertificata salvata tramite Assistente per completare le attività | Soddisfazione dell'utente | Sondaggio dell'organizzazione |
Domande consigliate sul sondaggio
Il sistema tables non acquisisce tutte le informazioni su come la tua organizzazione usa Databricks Assistant. Usare le domande sui sondaggi, ad esempio quelle riportate di seguito, per comprendere come l'organizzazione usa Assistente.
- Qual è il proprio ruolo? List ruoli nell'organizzazione
- Con quale frequenza si usa Assistente?
- Oraria
- Ogni giorno
- Settimanale
- Mensile
-
Where usi l'Assistente Intelligente?
- Editor SQL
- Notebook
- Entrambi
- Quali sono i casi d'uso principali per Assistente?
- Correzione di errori/risoluzione dei problemi
- Guida alla scrittura di codice
- Refactoring del codice
- Scrittura di query SQL
- Scrittura di unit test
- Ricerca della documentazione
- Quanto sei soddisfatto delle risposte dell'Assistente? Scala di 1-5, non soddisfatta di estremamente soddisfatto
- Poiché si usa l'Assistente intelligenza artificiale, si dice che si è più produttivi? Scalabilità di 1-5, molto meno produttiva a Molto più produttiva
- Quanto tempo si ritiene di risparmiare su un'attività media usando l'Assistente?
- 0-10%
- 10-30%
- 30-50%
- 50-70%
- Più del 70%