Medición del impacto de Databricks Assistant
En este artículo se proporciona información sobre cómo medir el impacto de Databricks Assistant en términos de adopción, asignación y aumentos de productividad notificados.
Requisitos
Para medir el impacto de Databricks Assistant, necesita:
- Privilegios de administrador de cuenta necesarios para habilitar las tablas del sistema. Consulte Habilitar tablas del sistema.
- Una encuesta interna para obtener comentarios subjetivas sobre el Asistente de su equipo.
Datos frente a métricas
Obtiene datos sin procesar de las tablas del sistema y una encuesta. Para comprender el impacto del Asistente, debe analizar e informar de los datos como métricas. Las métricas son valores calculados que se usan para medir aspectos o actividades específicos relacionados con el impacto de Assistant. En este artículo también se hace referencia a las métricas como medidas.
Sugerencias para medir el impacto del Asistente
Para comprender cómo su organización usa Databricks Assistant, empiece por medir su adopción e interacción con Databricks Assistant. Estos datos se pueden calcular a partir de tablas del sistema.
Revise los datos de forma rutinaria y haga que esté fácilmente disponible en un panel compartido. Para ver un ejemplo de panel y una plantilla, consulte Referencia y ejemplo de tabla del sistema de Databricks Assistant.
Métricas de impacto del asistente
A continuación se recomiendan medidas de impacto del asistente, tanto de las tablas del sistema como de los comentarios de los usuarios. Para obtener ejemplos de cálculos de métricas, descargue el archivo del panel de eventos assistant de GitHub y lea los cálculos en JSON. Para obtener información sobre cómo importar un archivo de panel, consulte Importación de un archivo de panel.
La encuesta de su organización también le ayuda a comprender la eficacia de su compromiso con el Asistente. Consulte Preguntas de encuesta recomendadas.
| Medida | Definición | Fase | Origen de datos |
|---|---|---|---|
| Principales usuarios en general | Usuarios en un período determinado que interactúan con más frecuencia con el Asistente | Adopción | Calcule a partir de los datos de la tabla del sistema de Databricks Assistant. |
| Datos de envíos: por área de trabajo y total | Número de solicitudes enviadas al Asistente por área de trabajo y por cuenta | Adopción | Calcule a partir de los datos de la tabla del sistema de Databricks Assistant. |
| Usuarios activos por día y mes | Usuarios únicos que han recibido y aceptado 1+ sugerencias o han participado en 1+ chats en un día determinado. | Participación | Calcule a partir de los datos de la tabla del sistema de Databricks Assistant. |
| Usuarios activos por área de trabajo | Usuarios únicos de un área de trabajo determinada que interactúan con el Asistente | Participación | Calcule a partir de los datos de la tabla del sistema de Databricks Assistant. |
| Roles principales de trabajo con Databricks Assistant | Número de personas de cada rol identificado en la organización que usan el Asistente | Participación | Encuesta de su organización |
| Tareas principales para Assistant | Ayuda del Asistente para tareas más comunes | Participación | Encuesta de su organización |
| Frecuencia con la que se usa Assistant | Frecuencia autoinformó del uso del Asistente por usuario | Participación | Encuesta de su organización |
| Principales áreas de uso del Asistente | Áreas de uso autoinformó: editor de SQL, cuadernos o ambos | Participación | Encuesta de su organización |
| Satisfacción del usuario con la ayuda del Asistente | Satisfacción autoinformó con las respuestas del Asistente en una escala de 1 a 5 | Satisfacción del usuario | Encuesta de su organización |
| Mejoras en la productividad del usuario | Aumento autoinformó de la productividad adquirida mediante el asistente en una escala de 1 a 5 | Satisfacción del usuario | Encuesta de su organización |
| Cantidad de tiempo que ahorran los usuarios mediante el Asistente | Porcentaje de tiempo guardado automáticamente mediante el Asistente para completar tareas | Satisfacción del usuario | Encuesta de su organización |
Preguntas de encuesta recomendadas
Las tablas del sistema no capturarán toda la información sobre cómo su organización usa Databricks Assistant. Use preguntas de encuesta, como las siguientes, para comprender cómo usa el Asistente para su organización.
- ¿A qué se dedica? Enumeración de roles en su organización
- ¿Con qué frecuencia usa assistant?
- Cada hora
- Diario
- Semanal
- Mensual
- ¿Dónde usa ai Assistant?
- Editor SQL
- Cuaderno
- Ambos
- ¿Cuáles son sus principales casos de uso para Assistant?
- Corrección de errores o solución de problemas
- Ayuda para escribir código
- Refactorización de código
- Escritura de consultas SQL
- Escribir pruebas unitarias
- Búsqueda de documentación
- ¿Qué satisfacción tiene con las respuestas del Asistente? Escala de 1 a 5, no satisfecho con extremadamente satisfecho
- Puesto que usa AI Assistant, ¿diría que es más productivo? Escala de 1 a 5, mucho menos productiva a mucho más productiva
- ¿Cuánto tiempo crees que ahorras en una tarea media con el Asistente?
- 0-10%
- 10-30%
- 30-50 %
- 50-70 %
- Más del 70 %