Mierzenie wpływu asystenta usługi Databricks
Ten artykuł zawiera informacje na temat mierzenia wpływu asystenta usługi Databricks pod kątem wdrażania, egagementu i zgłoszonych zysków produktywności.
Wymagania
Aby zmierzyć wpływ asystenta usługi Databricks, potrzebne są następujące elementy:
- Uprawnienia administratora konta wymagane do włączenia tabel systemowych. Zobacz Włączanie tabel systemowych.
- Wewnętrzna ankieta w celu uzyskania subiektywnej opinii na temat asystenta od zespołu.
Dane a metryki
Dane pierwotne są uzyskiwane z tabel systemowych i ankiety. Aby zrozumieć wpływ asystenta, musisz analizować i raportować dane jako metryki. Metryki to wartości obliczeniowe używane do mierzenia określonych aspektów lub działań związanych z wpływem Asystenta. W tym artykule metryki są również nazywane miarami.
Porady dotyczące pomiaru wpływu asystenta
Aby dowiedzieć się, jak twoja organizacja korzysta z asystenta usługi Databricks, zacznij od zmierzenia wdrażania i zaangażowania w asystenta usługi Databricks. Te dane można obliczyć na podstawie tabel systemowych.
Regularnie przeglądaj dane i udostępniaj je w udostępnionym pulpicie nawigacyjnym. Przykład i szablon pulpitu nawigacyjnego można znaleźć w temacie Databricks Assistant system table reference and example (Dokumentacja tabeli systemu asystenta usługi Databricks).
Metryki wpływu asystenta
Poniżej przedstawiono zalecane miary wpływu Asystenta zarówno z tabel systemowych, jak i opinii użytkowników. Aby zapoznać się z przykładami obliczeń metryk, pobierz plik pulpitu nawigacyjnego Zdarzenia asystenta z usługi GitHub i przeczytaj obliczenia w formacie JSON. Aby dowiedzieć się, jak zaimportować plik pulpitu nawigacyjnego, zobacz Importowanie pliku pulpitu nawigacyjnego
Ankietowanie organizacji pomaga również zrozumieć skuteczność jej zaangażowania z Asystentem. Zobacz Zalecane pytania dotyczące ankiety.
| Miara | Definicja | Etap | Źródło danych |
|---|---|---|---|
| Ogólnie rzecz biorąc, użytkownicy z najlepszymi użytkownikami | Użytkownicy w danym okresie, którzy najczęściej korzystają z Asystenta | Adopcja | Oblicz na podstawie danych tabeli systemowej asystenta usługi Databricks. |
| Dane przesyłania: na obszar roboczy i sumę | Liczba żądań przesłanych do Asystenta na obszar roboczy i na konto | Adopcja | Oblicz na podstawie danych tabeli systemowej asystenta usługi Databricks. |
| Aktywni użytkownicy według dnia i miesiąca | Unikatowi użytkownicy, którzy otrzymali i zaakceptowali 1+ sugestie lub uczestniczyli w 1+ czatach w danym dniu. | Zaangażowanie | Oblicz na podstawie danych tabeli systemowej asystenta usługi Databricks. |
| Aktywni użytkownicy na obszar roboczy | Unikatowi użytkownicy w danym obszarze roboczym, którzy wchodzą w interakcję z Asystentem | Zaangażowanie | Oblicz na podstawie danych tabeli systemowej asystenta usługi Databricks. |
| Najważniejsze role zadań przy użyciu asystenta usługi Databricks | Liczba osób z każdej roli zidentyfikowanej w organizacji, którzy korzystają z Asystenta | Zaangażowanie | Ankieta dotycząca organizacji |
| Najważniejsze zadania asystenta | Najbardziej typowe zadania Asystent pomaga w pracy | Zaangażowanie | Ankieta dotycząca organizacji |
| Jak często używasz Asystenta | Częstotliwość samodzielnego zgłaszania użycia asystenta na użytkownika | Zaangażowanie | Ankieta dotycząca organizacji |
| Najważniejsze obszary użycia Asystenta | Obszary użycia zgłaszane samodzielnie: edytor SQL, notesy lub oba te obszary | Zaangażowanie | Ankieta dotycząca organizacji |
| Zadowolenie użytkowników z pomocy asystenta | Samozadowolenie zadowolenia z odpowiedzi Asystenta na skalę 1–5 | Zadowolenie użytkowników | Ankieta dotycząca organizacji |
| Zyski w produktywności użytkowników | Samodzielny wzrost produktywności uzyskany przy użyciu Asystenta w skali od 1 do 5 | Zadowolenie użytkowników | Ankieta dotycząca organizacji |
| Ilość czasu, przez jaki użytkownicy oszczędzają przy użyciu Asystenta | Samodzielnie zgłaszany procent czasu zapisany przy użyciu Asystenta do wykonywania zadań | Zadowolenie użytkowników | Ankieta dotycząca organizacji |
Zalecane pytania dotyczące ankiety
Tabele systemowe nie przechwytują wszystkich informacji o sposobie korzystania z asystenta usługi Databricks w organizacji. Skorzystaj z pytań ankietowych, takich jak poniższe, aby zrozumieć, jak twoja organizacja korzysta z Asystenta.
- Jaka jest Twoja rola? Wyświetlanie listy ról w organizacji
- Jak często używasz Asystenta?
- Co godzinę
- Dzienna
- Tygodniowa
- Co miesiąc
- Gdzie używasz Asystenta sztucznej inteligencji?
- Edytor SQL
- Notesy
- Oba
- Jakie są główne przypadki użycia asystenta?
- Naprawianie błędów/ rozwiązywanie problemów
- Pomoc w pisaniu kodu
- Refaktoryzacja kodu
- Pisanie zapytań SQL
- Pisanie testów jednostkowych
- Szukanie dokumentacji
- Jak zadowolony jesteś z odpowiedzi asystenta? Skala od 1 do 5, niezadowolona z bardzo zadowolenia
- Ponieważ korzystasz z Asystenta sztucznej inteligencji, czy mówisz, że jesteś bardziej produktywny? Skala 1–5, znacznie mniej produktywna do znacznie bardziej produktywnej
- Ile czasu uważasz, że oszczędzasz przeciętne zadanie przy użyciu Asystenta?
- 0-10%
- 10-30%
- 30–50%
- 50-70%
- Ponad 70%