Analyse de l'échec, rapport Excel
Vous pouvez utiliser le rapport Analyse de l'échec pour faciliter la surveillance du nombre de régressions trouvées par l'équipe des tests. Les régressions sont des bogues dans le logiciel que vous testez qui n'apparaissaient pas dans les versions antérieures. L'équipe qui effectue le test de régression se concentre spécifiquement sur la recherche des bogues qui apparaissent uniquement dans une nouvelle version du logiciel. Le rapport Analyse de l'échec indique le nombre de configurations distinctes de chaque cas de test qui ont réussi auparavant et échouent à présent, pour les quatre dernières semaines.
Il est disponible uniquement lorsque l'équipe crée des plans de test et commence à exécuter des tests à l'aide de Microsoft Test Manager. Pour plus d'informations sur la définition de suites et de plans de test, consultez Planifier des tests manuels à l'aide de Team Web Access. Pour plus d'informations sur la façon d'accéder à ce rapport, consultez Rapports Excel (Agile).
Notes
Vous pouvez consulter le rapport Analyse de l'échec à partir du tableau de bord Test.Vous pouvez accéder à ce tableau de bord uniquement si votre portail du projet d'équipe a été activé et configuré pour utiliser SharePoint Server, édition Enterprise.
Autorisations requises
Pour afficher le rapport, vous devez avoir été affecté ou appartenir à un groupe disposant des autorisations de Lecture dans Produits SharePoint pour le projet d'équipe.
Pour modifier ou personnaliser le rapport, vous devez être membre du rôle de sécurité TfsWarehouseDataReaders dans SQL Server Analysis Services. Vous devez avoir été affecté ou appartenir à un groupe disposant des autorisations de Membres dans Produits SharePoint pour le projet d'équipe. Pour plus d'informations, consultez Accorder l'accès aux bases de données de l'entrepôt de données pour Visual Studio ALM.
Données du rapport
Le rapport Analyse de l'échec contient un graphique en aires empilées qui indique le nombre cumulé de tous les résultats négatifs des cas de test pour toutes les configurations, au cours des quatre dernières semaines. Les types d'échec sont Nouveau problème, Problème connu ou Régression.
.png "Rapport Excel Analyse de l'échec")
Ce rapport est basé sur un rapport PivotChart qui indique, pour les quatre dernières semaines, les données des résultats des tests stockées dans l'entrepôt de données.
Le système examine chaque configuration sur laquelle le cas de test a été exécuté et essaie d'identifier le résultat précédant pour la même configuration du cas de test. Le type d'échec assigné au cas de test/à la configuration est déterminé selon les critères suivants :
Régression : lorsque le résultat du prédécesseur immédiat avait la valeur Réussite.
Nouveau problème : lorsqu'aucun résultat du prédécesseur immédiat n'a été trouvé.
Problème connu : lorsque le résultat du prédécesseur immédiat avait la valeur Échec.
Activités requises pour la surveillance des régressions
Pour que le rapport Analyse de l'échec soit utile et précis, l'équipe doit effectuer les activités suivantes :
Définissez Cas de test et Plans de test et assignez Cas de test à Plans de test.
Pour les tests manuels, marquer les résultats de chaque étape de validation dans le cas de test comme ayant réussi ou échoué.
Important
Les testeurs doivent marquer une étape de test en précisant un état s'il s'agit d'une étape d'un test de validation.Le résultat total pour un cas de test reflète l'état de toutes les étapes de test marquées par le testeur.Par conséquent, l'état Échec sera affecté au cas de test si l'une des étapes de test a été marquée comme ayant échoué par le testeur ou n'a pas été marquée.
Pour les tests automatisés, chaque cas de test est automatiquement marqué comme ayant réussi ou échoué.
(Facultatif) Pour prendre en charge le filtrage, assignez des chemins Itération et Zone à chaque cas de test.
Interprétation du rapport
Attendez-vous à ce que le rapport Analyse de l'échec varie en fonction de l'étape dans laquelle vous vous trouvez dans votre cycle de développement de produit. Les premières itérations doivent indiquer peu, le cas échéant, d'activités de régression. Ultérieurement dans le cycle de développement, vous devez vous attendre à des régressions. Plus précisément, vous devez examiner le rapport pour rechercher les réponses aux questions suivantes :
Combien de tests régressent-ils en général ?
L'équipe conserve-t-elle le nombre total de régressions ou d'échecs de test dans les limites ou objectifs attendus ?
L'équipe traite-t-elle les problèmes à mesure qu'ils sont identifiés ? Les problèmes connus sont-ils traités en temps voulu ?
Un rapport Analyse de l'échec correct affiche un nombre modéré de nouveaux problèmes, de problèmes connus et de régressions. Si des pics se produisent dans l'une ou plusieurs de ces zones, l'équipe devra peut-être effectuer des recherches plus poussées. Les pics peuvent indiquer des problèmes dans l'activité de test ou dans la qualité du code archivé.
En outre, vous pouvez vérifier l'état des builds récentes, l'état des bogues et l'évolution du code pour déterminer si les mesures de chacun de ces facteurs peuvent aider à expliquer les modifications des lignes de l'activité de test.
Mise à jour et personnalisation du rapport
Vous pouvez mettre à jour le rapport Analyse de l'échec en l'ouvrant dans Office Excel et modifiant les options de filtre du rapport PivotTable. Vous pouvez personnaliser ce rapport pour prendre en charge d'autres vues, comme décrit dans le tableau suivant.
Vue |
Action |
|---|---|
Analyse d'échec pour une itération |
Modifiez le filtre correspondant à Iteration (valeur par défaut = Tous). |
Analyse d'échec pour une zone de produit |
Modifiez le filtre correspondant à Area (valeur par défaut = Tous). |
Analyse d'échec pour un plan de test ou une suite de plans de test spécifique |
Ajouter le filtre pour Test Plan (valeur par défaut = Tous) |
Analyse d'échec pour les six, huit (ou plus) semaines les plus récentes |
Dans la liste de champs PivotTable Colonnes, remplacez @@Last 4 weeks@@ par une autre valeur Set. |
Pour plus d'informations sur l'utilisation et la personnalisation des rapports PivotTable et PivotChart, consultez les pages suivantes sur le site Web Microsoft :
Modifier ou supprimer un classeur à partir des services Excel
Enregistrer un fichier dans une bibliothèque SharePoint ou un autre emplacement Web