Medir o impacto do Databricks Assistant
Este artigo fornece informações sobre como medir o impacto do Databricks Assistant em termos de adoção, aprendizagem e ganhos de produtividade relatados.
Requisitos
Para medir o impacto do Databricks Assistant, você precisa:
- Privilégios de administrador de conta necessários para habilitar tabelas do sistema. Consulte Ativar tabelas do sistema.
- Uma pesquisa interna para obter feedback subjetivo da sua equipe sobre o Assistente.
Dados vs. métricas
Você obtém dados brutos das tabelas do sistema e de uma pesquisa. Para entender o impacto do Assistente, você deve analisar e relatar dados como métricas. As métricas são valores calculados que você usa para medir aspetos ou atividades específicos relacionados ao impacto do Assistente. Este artigo também se refere a métricas como medidas.
Dicas para medir o impacto do Assistente
Para entender como sua organização está usando o Databricks Assistant, comece medindo sua adoção e envolvimento com o Databricks Assistant. Estes dados podem ser calculados a partir de tabelas do sistema.
Revise seus dados rotineiramente e disponibilize-os facilmente em um painel compartilhado. Para obter um exemplo e modelo de painel, consulte Referência e exemplo de tabela do sistema Databricks Assistant.
Métricas de impacto do assistente
A seguir estão as medidas recomendadas de impacto do Assistente, tanto das tabelas do sistema quanto dos comentários dos usuários. Para obter exemplos de cálculos de métricas, baixe o arquivo do painel de eventos do Assistente no GitHub e leia os cálculos em JSON. Para saber como importar um arquivo de painel, consulte Importar um arquivo de painel
O levantamento da sua organização também o ajuda a compreender a eficácia do seu envolvimento com o Assistente. Consulte Perguntas recomendadas da pesquisa.
| Medida | Definição | Fase | Data source |
|---|---|---|---|
| Principais utilizadores em geral | Usuários em um determinado período que interagem com mais frequência com o Assistente | Adoção | Calcule a partir dos dados da tabela do sistema Databricks Assistant. |
| Dados de envios: por espaço de trabalho e total | Número de solicitações enviadas ao Assistente por espaço de trabalho e por conta | Adoção | Calcule a partir dos dados da tabela do sistema Databricks Assistant. |
| Usuários ativos por dia e mês | Usuários únicos que receberam e aceitaram 1+ sugestões ou participaram de 1+ chats em um determinado dia. | Interações | Calcule a partir dos dados da tabela do sistema Databricks Assistant. |
| Usuários ativos por espaço de trabalho | Usuários exclusivos em um determinado espaço de trabalho que interagem com o Assistente | Interações | Calcule a partir dos dados da tabela do sistema Databricks Assistant. |
| Principais funções usando o Databricks Assistant | Número de pessoas de cada função identificadas em sua organização que usam o Assistente | Interações | Inquérito à sua organização |
| Principais tarefas para o Assistente | Tarefas mais comuns com as quais o Assistente ajuda | Interações | Inquérito à sua organização |
| Com que frequência utiliza o Assistente | Frequência autorreferida de utilização do Assistente por utilizador | Interações | Inquérito à sua organização |
| Principais áreas de utilização do Assistente | Áreas de uso auto-relatadas: editor SQL, blocos de anotações ou ambos | Interações | Inquérito à sua organização |
| Satisfação do usuário com a ajuda do Assistente | Satisfação autorreferida com as respostas do Assistente numa escala de 1 a 5 | Satisfação do utilizador | Inquérito à sua organização |
| Ganhos de produtividade do utilizador | Aumento auto-relatado na produtividade obtida usando o Assistente em uma escala de 1-5 | Satisfação do utilizador | Inquérito à sua organização |
| Quantidade de tempo que os usuários economizam usando o Assistente | Porcentagem autorrelatada de tempo economizado usando o Assistente para concluir tarefas | Satisfação do utilizador | Inquérito à sua organização |
Perguntas recomendadas da pesquisa
As tabelas do sistema não capturam todas as informações sobre como sua organização usa o Assistente do Databricks. Use as perguntas da pesquisa, como as abaixo, para entender como sua organização usa o Assistente.
- Qual é o seu papel? Listar funções na sua organização
- Com que frequência utiliza o Assistente?
- Horário
- Diárias
- Semanais
- Mensalmente
- Onde você usa o AI Assistant?
- Editor SQL
- Notebooks
- Ambos
- Quais são os seus principais casos de uso para o Assistente?
- Correção de erros / solução de problemas
- Ajuda para escrever código
- Refatoração de código
- Escrevendo consultas SQL
- Escrita de testes unitários
- Consultar documentação
- Quão satisfeito está com as respostas do Assistente? Escala de 1-5, Não satisfeito a Extremamente satisfeito
- Desde que usa o Assistente de IA, você diria que é mais produtivo? Escala de 1-5, muito menos produtivo a muito mais produtivo
- Quanto tempo você acredita que economiza em uma tarefa média usando o Assistente?
- 0-10%
- 10-30%
- 30-50%
- 50-70%
- Mais de 70%