Messen der Auswirkungen des Databricks-Assistenten
Dieser Artikel enthält Informationen zur Messung der Auswirkungen des Databricks Assistant in Bezug auf Die Akzeptanz, Egagement und gemeldete Produktivitätsgewinne.
Anforderungen
Um die Auswirkungen des Databricks Assistant zu messen, benötigen Sie:
- Kontoadministratorberechtigungen, die zum Aktivieren von Systemtabellen erforderlich sind. Weitere Informationen finden Sie unter Aktivieren von Systemtabellen.
- Eine interne Umfrage, um subjektives Feedback zum Assistenten aus Ihrem Team zu erhalten.
Daten im Vergleich zu Metriken
Sie erhalten Rohdaten aus den Systemtabellen und einer Umfrage. Um die Auswirkungen des Assistenten zu verstehen, müssen Sie Daten als Metriken analysieren und melden. Metriken sind berechnete Werte, die Sie zum Messen bestimmter Aspekte oder Aktivitäten im Zusammenhang mit den Auswirkungen des Assistenten verwenden. Dieser Artikel bezieht sich auch auf Metriken als Measures.
Tipps zum Messen der Auswirkungen des Assistenten
Um zu verstehen, wie Ihre Organisation Databricks Assistant verwendet, beginnen Sie mit der Messung der Einführung und des Engagements mit dem Databricks Assistant. Diese Daten können aus Systemtabellen berechnet werden.
Überprüfen Sie Ihre Daten routinemäßig, und stellen Sie sie einfach in einem freigegebenen Dashboard zur Verfügung. Ein Dashboardbeispiel und eine Vorlage finden Sie in der Systemtabellenreferenz des Databricks-Assistenten und -Beispiels.
Metriken für Die Auswirkungen des Assistenten
Im Folgenden werden Empfohlene Maßnahmen zur Auswirkung des Assistenten sowohl aus Systemtabellen als auch aus Benutzerfeedback empfohlen. Beispiele für Metrikberechnungen: Laden Sie die Dashboarddatei des Assistentenereignisses von GitHub herunter, und lesen Sie die Berechnungen in JSON. Informationen zum Importieren einer Dashboarddatei finden Sie unter Importieren einer Dashboarddatei
Die Umfrage Ihrer Organisation hilft Ihnen auch, die Effektivität des Engagements mit Dem Assistenten zu verstehen. Weitere Informationen finden Sie unter "Empfohlene Umfragefragen".
| Measure | Definition | Phase | Datenquelle |
|---|---|---|---|
| Top-Benutzer insgesamt | Benutzer in einem bestimmten Zeitraum, die am häufigsten mit dem Assistenten interagieren | Einführung | Berechnet aus Daten des Databricks Assistant-Systemtabellen . |
| Übermittlungsdaten: pro Arbeitsbereich und Gesamtsumme | Anzahl der Anforderungen, die an den Assistenten pro Arbeitsbereich und pro Konto übermittelt wurden | Einführung | Berechnet aus Daten des Databricks Assistant-Systemtabellen . |
| Aktive Benutzer nach Tag und Monat | Eindeutige Benutzer, die 1+ Vorschläge erhalten und angenommen haben oder an 1+ Chats an einem bestimmten Tag teilgenommen haben. | Interaktionen | Berechnet aus Daten des Databricks Assistant-Systemtabellen . |
| Aktive Benutzer pro Arbeitsbereich | Eindeutige Benutzer in einem bestimmten Arbeitsbereich, die mit dem Assistenten interagieren | Interaktionen | Berechnet aus Daten des Databricks Assistant-Systemtabellen . |
| Top-Jobrollen mit dem Databricks-Assistenten | Anzahl der Personen aus jeder Rolle, die in Ihrer Organisation identifiziert werden, die den Assistenten verwenden | Interaktionen | Umfrage Ihrer Organisation |
| Die wichtigsten Aufgaben für den Assistenten | Der assistent für die häufigsten Aufgaben hilft bei | Interaktionen | Umfrage Ihrer Organisation |
| Wie oft verwenden Sie den Assistenten? | Selbst gemeldete Häufigkeit der Verwendung des Assistenten pro Benutzer | Interaktionen | Umfrage Ihrer Organisation |
| Die wichtigsten Bereiche der Assistentenverwendung | Selbst gemeldete Nutzungsbereiche: SQL-Editor, Notizbücher oder beides | Interaktionen | Umfrage Ihrer Organisation |
| Benutzerzufriedenheit mit Assistenthilfe | Selbst gemeldete Zufriedenheit mit den Antworten des Assistenten auf einer Skala von 1-5 | Benutzerzufriedenheit | Umfrage Ihrer Organisation |
| Steigerung der Benutzerproduktivität | Selbst gemeldete Produktivitätssteigerung mit Assistent im Maßstab von 1-5 | Benutzerzufriedenheit | Umfrage Ihrer Organisation |
| Zeitaufwand, den Benutzer mithilfe des Assistenten sparen | Self-reported percentage of time saved by using Assistant to complete tasks | Benutzerzufriedenheit | Umfrage Ihrer Organisation |
Empfohlene Fragen zur Umfrage
Systemtabellen erfassen nicht alle Informationen darüber, wie Ihre Organisation databricks Assistant verwendet. Verwenden Sie Umfragefragen, z. B. die unten aufgeführten Fragen, um zu verstehen, wie Ihre Organisation den Assistenten verwendet.
- Welche Bezeichnung passt am besten zu Ihnen? Auflisten von Rollen in Ihrer Organisation
- Wie oft verwenden Sie den Assistenten?
- Stündlich
- Täglich
- Wöchentlich
- Monatlich
- Wo verwenden Sie den KI-Assistenten?
- SQL-Editor
- Notebooks
- Beides
- Was sind Ihre Hauptanwendungsfälle für Den Assistenten?
- Beheben von Fehlern/Problembehandlung
- Hilfe beim Schreiben von Code
- Code-Refactoring
- Schreiben von SQL-Abfragen
- Schreiben von Komponententests
- Nachschlagen der Dokumentation
- Wie zufrieden sind Sie mit den Antworten des Assistenten? Skala von 1-5, Nicht zufrieden zu extrem zufrieden
- Da Sie den KI-Assistenten verwenden, würden Sie sagen, dass Sie produktiver sind? Skalierung von 1-5, Viel weniger produktiv bis viel produktiver
- Wie viel Zeit glauben Sie, dass Sie bei einer durchschnittlichen Aufgabe mit dem Assistenten sparen?
- 0-10%
- 10-30%
- 30 - 50 %
- 50–70 %
- Mehr als 70%