Impact de l’Assistant Mesurer Databricks
Cet article fournit des informations sur la mesure de l’impact de Databricks Assistant en termes d’adoption, d’egagement et de gains de productivité signalés.
Spécifications
Pour mesurer l’impact de Databricks Assistant, vous avez besoin des éléments suivants :
- Privilèges d’administrateur de compte requis pour activer les tables système. Consultez Activer les tables système.
- Une enquête interne pour obtenir des commentaires subjectifs sur l’Assistant de votre équipe.
Données et métriques
Vous obtenez des données brutes à partir des tables système et d’une enquête. Pour comprendre l’impact de l’Assistant, vous devez analyser et signaler des données en tant que métriques. Les métriques sont des valeurs calculées que vous utilisez pour mesurer des aspects spécifiques ou des activités liés à l’impact de l’Assistant. Cet article fait également référence aux métriques comme mesures.
Conseils pour mesurer l’impact de l’Assistant
Pour comprendre comment votre organisation utilise l’Assistant Databricks, commencez par mesurer son adoption et son engagement avec l’Assistant Databricks. Ces données peuvent être calculées à partir de tables système.
Passez en revue vos données régulièrement et rendez-les facilement disponibles dans un tableau de bord partagé. Pour obtenir un exemple de tableau de bord et un modèle, consultez la référence de la table système de l’Assistant Databricks et l’exemple.
Métriques d’impact de l’Assistant
Voici les mesures recommandées de l’impact de l’Assistant, à partir des tables système et des commentaires des utilisateurs. Pour obtenir des exemples de calculs de métriques, téléchargez le fichier de tableau de bord des événements Assistant à partir de GitHub et lisez les calculs au format JSON. Pour savoir comment importer un fichier de tableau de bord, consultez Importer un fichier de tableau de bord
L’enquête de votre organisation vous aide également à comprendre l’efficacité de son engagement auprès de l’Assistant. Consultez les questions recommandées sur l’enquête.
| Mesure | Définition | Étape | Source de données |
|---|---|---|---|
| Principaux utilisateurs dans l’ensemble | Utilisateurs d’une période donnée qui interagissent le plus fréquemment avec l’Assistant | Adoption | Calculez à partir des données de table système de l’Assistant Databricks. |
| Données d’envoi : par espace de travail et total | Nombre de demandes envoyées à l’Assistant par espace de travail et par compte | Adoption | Calculez à partir des données de table système de l’Assistant Databricks. |
| Utilisateurs actifs par jour et par mois | Utilisateurs uniques qui ont reçu et accepté 1+ suggestions ou ont participé à 1+ conversations sur une journée donnée. | Engagement | Calculez à partir des données de table système de l’Assistant Databricks. |
| Utilisateurs actifs par espace de travail | Utilisateurs uniques dans un espace de travail donné qui interagissent avec l’Assistant | Engagement | Calculez à partir des données de table système de l’Assistant Databricks. |
| Principaux rôles de travail à l’aide de l’Assistant Databricks | Nombre de personnes de chaque rôle identifié dans votre organisation qui utilisent l’Assistant | Engagement | Enquête de votre organisation |
| Tâches principales pour l’Assistant | L’Assistant Tâches les plus courantes permet d’utiliser | Engagement | Enquête de votre organisation |
| Fréquence d’utilisation de l’Assistant | Fréquence d’utilisation auto-signalée de l’Assistant par utilisateur | Engagement | Enquête de votre organisation |
| Principales zones d’utilisation de l’Assistant | Zones d’utilisation auto-signalées : éditeur SQL, notebooks ou les deux | Engagement | Enquête de votre organisation |
| Satisfaction des utilisateurs avec l’aide de l’Assistant | Satisfaction auto-signalée avec les réponses de l’Assistant sur une échelle de 1 à 5 | Satisfaction de l’utilisateur | Enquête de votre organisation |
| Gains de productivité des utilisateurs | Augmentation auto-signalée de la productivité acquise à l’aide de l’Assistant sur une échelle de 1 à 5 | Satisfaction de l’utilisateur | Enquête de votre organisation |
| Durée d’enregistrement des utilisateurs à l’aide de l’Assistant | Pourcentage de temps enregistré automatiquement à l’aide de l’Assistant pour effectuer des tâches | Satisfaction de l’utilisateur | Enquête de votre organisation |
Questions recommandées sur l’enquête
Les tables système ne capturent pas toutes les informations sur la façon dont votre organisation utilise l’Assistant Databricks. Utilisez des questions d’enquête, telles que celles ci-dessous, pour comprendre comment votre organisation utilise l’Assistant.
- Quelle est votre fonction ? Répertorier les rôles dans votre organisation
- À quelle fréquence utilisez-vous l’Assistant ?
- Toutes les heures
- Quotidiennement
- Hebdomadaire
- Mensuelle
- Où utilisez-vous l’Assistant IA ?
- Éditeur SQL
- Blocs-notes
- Les deux
- Quels sont vos principaux cas d’usage pour Assistant ?
- Résolution des erreurs / résolution des problèmes
- Aide à l’écriture de code
- Refactorisation de code
- Écriture de requêtes SQL
- Écriture de tests unitaires
- Recherche de documentation
- Êtes-vous satisfait des réponses de l’Assistant ? Échelle de 1 à 5, Non satisfait à Extrêmement satisfait
- Depuis l’utilisation de l’Assistant IA, diriez-vous que vous êtes plus productif ? Échelle de 1 à 5, Beaucoup moins productive à Beaucoup plus productive
- Combien de temps pensez-vous économiser sur une tâche moyenne à l’aide de l’Assistant ?
- 0-10%
- 10-30%
- 30-50 %
- 50-70 %
- Plus de 70 %