Impact van Databricks Assistant meten
Dit artikel bevat informatie over het meten van de impact van Databricks Assistant op het gebied van acceptatie, egagement en gerapporteerde productiviteitswinsten.
Vereisten
Als u de impact van Databricks Assistant wilt meten, hebt u het volgende nodig:
- Accountbeheerdersbevoegdheden vereist om systeem-tablesin te schakelen. Zie Systeem tablesinschakelen.
- Een interne enquête voor get subjectieve feedback over Assistent van uw team.
Gegevens versus metrische gegevens
U get onbewerkte gegevens uit het systeem tables en een enquête. Als u inzicht wilt hebben in de impact van assistenten, moet u gegevens analyseren en rapporteren als metrische gegevens. Metrische gegevens worden berekend values u gebruikt om specifieke aspecten of activiteiten met betrekking tot de impact van assistenten te meten. Dit artikel verwijst ook naar metrische gegevens als metingen.
Tips voor het meten van de impact van assistent
Als u wilt weten hoe uw organisatie Databricks Assistant gebruikt, begint u met het meten van de acceptatie en betrokkenheid met Databricks Assistant. Deze gegevens kunnen worden berekend op basis van systeem tables.
Controleer uw gegevens regelmatig en maak deze eenvoudig beschikbaar in een gedeeld dashboard. Voor een dashboardvoorbeeld en sjabloon, zie Databricks Assistant-systeem table referentie en voorbeeld.
Metrische gegevens van assistent beïnvloeden
Hieronder volgen aanbevolen metingen van invloed op assistenten, zowel van systeem-tables als van feedback van gebruikers. Voor voorbeelden van metrische berekeningen downloadt u het dashboardbestand Assistent-gebeurtenissen van GitHub en leest u de berekeningen in JSON. Zie Een dashboardbestand importeren voor meer informatie over het importeren van een dashboardbestand
Door uw organisatie te onderzoeken, krijgt u ook inzicht in de effectiviteit van de betrokkenheid bij Assistent. Zie Aanbevolen enquêtevragen.
| Meetcriterium | Definitie | Fase | Gegevensbron |
|---|---|---|---|
| Belangrijkste gebruikers in het algemeen | Gebruikers in een bepaalde periode die het vaakst communiceren met Assistent | Adoptie | Bereken uit Databricks Assistant-systeem table gegevens. |
| Inzendingsgegevens: per werkruimte en totaal | Aantal aanvragen verzonden naar Assistent per werkruimte en per account | Adoptie | Bereken uit Databricks Assistant-systeem table gegevens. |
| Actieve gebruikers per dag en maand | Unieke gebruikers die op een bepaalde dag 1+ suggesties hebben ontvangen en geaccepteerd of hebben deelgenomen aan 1+ chats. | Interactie | Bereken uit Databricks Assistant-systeem table gegevens. |
| Actieve gebruikers per werkruimte | Unieke gebruikers in een bepaalde werkruimte die communiceren met Assistent | Interactie | Bereken uit Databricks Assistant-systeem table gegevens. |
| Belangrijkste taakrollen met Behulp van Databricks Assistant | Aantal personen uit elke rol die is geïdentificeerd in uw organisatie die Assistent gebruiken | Interactie | Enquête van uw organisatie |
| Belangrijkste taken voor Assistent | De meest voorkomende takenassistent helpt bij | Interactie | Enquête van uw organisatie |
| Hoe vaak gebruikt u Assistent? | Zelf gerapporteerde frequentie van het gebruik van assistent per gebruiker | Interactie | Enquête van uw organisatie |
| Belangrijkste gebieden van assistentgebruik | Zelf gerapporteerde gebruiksgebieden: SQL-editor, notebooks of beide | Interactie | Enquête van uw organisatie |
| Gebruikerstevredenheid met hulp bij assistent | Zelf gemelde tevredenheid met de antwoorden van assistent op een schaal van 1-5 | Tevredenheid van de gebruiker | Enquête van uw organisatie |
| Voordelen in gebruikersproductiviteit | Zelf gerapporteerde toename van de productiviteit die is opgedaan met behulp van Assistent op een schaal van 1-5 | Tevredenheid van de gebruiker | Enquête van uw organisatie |
| Tijd die gebruikers besparen met behulp van Assistent | Zelf gerapporteerd percentage tijd dat is opgeslagen door assistent te gebruiken om taken te voltooien | Tevredenheid van de gebruiker | Enquête van uw organisatie |
Aanbevolen enquêtevragen
Systeem tables legt niet alle informatie vast over hoe uw organisatie Databricks Assistant gebruikt. Gebruik enquêtevragen, zoals de onderstaande, om te begrijpen hoe uw organisatie Assistent gebruikt.
- Wat is uw rol? List rollen in uw organisatie
- Hoe vaak gebruikt u Assistent?
- Per uur
- Dagelijks
- Wekelijks
- Maandelijks
-
Where gebruikt u de AI-assistent?
- SQL-editor
- Notebooks
- Beide
- Wat zijn uw belangrijkste use cases voor Assistent?
- Fouten oplossen/problemen oplossen
- Hulp bij het schrijven van code
- Codeherstructureren
- SQL-query's schrijven
- Eenheidstests schrijven
- Documentatie opzoeken
- Hoe tevreden bent u met de antwoorden van assistent? Schaal van 1-5, Niet tevreden tot Uiterst tevreden
- Als u de AI-assistent gebruikt, zou u zeggen dat u productiever bent? Schaal van 1-5, veel minder productief naar veel productiever
- Hoeveel tijd denkt u dat u een gemiddelde taak bespaart met behulp van de Assistent?
- 0-10%
- 10-30%
- 30-50%
- 50-70%
- Meer dan 70%