Comment : configurer et exécuter des tests planifiés après la génération de votre application
Vous pouvez exécuter des tests après la création d'une build pour en évaluer la qualité. Ces tests sont souvent appelés tests de vérification de build (BVT) ou tests de détection de fumée. Ces tests se composent en général d'une suite de tests utilisés pour vérifier les zones clés d'une application d'une build particulière. Une build est considérée comme ayant réussi si tous les tests du BVT ont réussi.
Vous pouvez utiliser un ou plusieurs types de tests automatisés dans le cadre de votre test de vérification de build. Vous pouvez exécuter les types de tests suivants :
Tests unitaires
Tests unitaires de base de données
Tests codés de l'interface utilisateur
Tests de performances de site Web
Tests de charge
Tests génériques
La création de tests de vérification de build requiert l'utilisation de Visual Studio, du contrôle de version Team Foundation et de Team Foundation Build. En premier lieu, vous utilisez Visual Studio pour assigner des catégories de test aux tests que vous voulez utiliser pour votre test de vérification de build. Ensuite, vous archivez les tests automatisés marqués par les catégories de test dans le contrôle de code source à l'aide du contrôle de version Team Foundation. Vous ajoutez alors le filtre de catégorie de test à votre définition de build. Enfin, vous utilisez Team Foundation Build pour mettre en file d'attente une build qui exécutera ensuite vos tests si la build réussit.
Notes
Team Explorer doit être installé sur l'ordinateur client et votre session utilisateur Visual Studio doit être connectée à l'ordinateur Team Foundation Server. Pour plus d'informations sur la façon de se connecter à Team Foundation Server, consultez How to: Connect to a Team Project in Team Foundation Server.
Cette rubrique décrit toutes les procédures requises pour la création et l'exécution des tests de vérification de build :
Créer des catégories de test pour votre test de vérification de build
Archiver vos tests de vérification de build
Créer une définition de build
Ajouter les ordinateurs ou comptes d'utilisateurs pour des agents de build et de test au groupe TeamTestControllerUsers
Configurer votre agent pour exécuter des tests codés de l'interface utilisateur
Exécuter la définition de build du test de vérification de build
Notes
Vous pouvez utiliser des listes de tests pour exécuter vos tests de vérification de build. L'utilisation de catégories de test est cependant préférée à celle des listes de tests des versions antérieures à Microsoft Visual Studio 2010, à moins que vous ne deviez créer une stratégie d'archivage nécessitant une liste de tests. Pour plus d'informations sur la création des listes de tests, consultez Comment : créer une liste de tests.
Créer des catégories de test pour votre test de vérification de build
Vous pouvez utiliser des opérateurs logiques tels que & (AND), | (OR) et !(NOT) pour la création de filtres, pour sélectionner les tests à exécuter d'après les catégories qui leur sont assignées. Pour plus de flexibilité dans la façon de sélectionner vos tests, vous pouvez créer plusieurs catégories de test à utiliser pour la définition de build.
Pour créer des catégories de test pour vos méthodes de test
Dans le menu Test, cliquez sur Fenêtres, puis sélectionnez Affichage des tests.
La fenêtre Affichage des tests s'affiche.
Sélectionnez un test.
Dans le volet de propriétés du test sélectionné, cliquez sur le bouton de sélection (...) dans la colonne Catégories de test. La fenêtre Catégorie de test sera affichée.
Dans le champ Ajouter une nouvelle catégorie, tapez le nom de votre nouvelle catégorie de test.
Cliquez sur Ajouter.
Cliquez sur OK. La nouvelle catégorie de test sera assignée à votre test et sera disponible pour les autres tests dans la fenêtre Affichage des tests.
Pour créer d'autres catégories de test, répétez les étapes 4 à 6.
Pour plus d'informations sur l'assignation de catégories de test par l'ajout d'un attribut à votre méthode de test, consultez Comment : regrouper et exécuter des tests automatisés à l'aide de catégories de test.
Archiver vos tests de vérification de build
Dans cette procédure, vous archivez tous les fichiers de votre solution. Cela inclura les catégories de test que vous avez ajoutées à vos méthodes de test.
Pour archiver vos tests de vérification de build dans le contrôle de code source
Connectez-vous à un ordinateur Team Foundation Server. Pour plus d'informations, consultez How to: Connect to a Team Project in Team Foundation Server.
Si votre solution ne s'y trouve pas déjà, ajoutez-la au contrôle de code source. Pour plus d'informations, consultez Ajout de fichiers au contrôle de version.
Cliquez sur Afficher puis sur Archivages en attente. La fenêtre Archivages en attente s'affiche.
Archivez tous les fichiers de votre solution. Pour plus d'informations, consultez Archiver des modifications en attente.
Notes
Vous pouvez avoir établi un processus d'équipe spécifique qui contrôle la manière dont les tests de vérification de build sont créés et gérés. Par exemple, le processus peut exiger que vous vérifiiez votre génération localement avant d'archiver ce code et les tests qui seront exécutés dessus.
Une fois l'opération d'archivage terminée, une icône de cadenas s'affiche en regard de chaque fichier dans l'Explorateur de solutions pour indiquer son état Archivé. Pour plus d'informations, consultez How to: Identify Version Control Item Status in Solution Explorer.
Vos tests archivés sont disponibles pour être utilisés dans une build. Vous pouvez maintenant créer une définition de build contenant les tests que vous voulez exécuter dans votre test de vérification de build.
Créer une définition de build
Pour créer une définition de build de test de vérification de build
Dans Team Explorer, cliquez sur votre projet d'équipe.
Cliquez avec le bouton droit sur Builds, puis cliquez sur Nouvelle définition de build.
L'onglet Nouvelle définition de build s'affiche.
Entrez les informations pour votre nouvelle définition de build**.** Pour plus d'informations, consultez Créer une définition de build de base.
Spécifiez le nom attribué à la définition de build dans la zone de texte Nom de définition de build.
(Facultatif) Ajoutez une description appropriée dans la boîte Description.
Cliquez sur Espace de travail.
Le tableau Dossiers de travail contient le dossier du contrôle de code source du projet d'équipe pour lequel vous créez les nouvelles définitions de build ainsi qu'un dossier local dans l'agent de build. Le dossier local de l'agent de build est répertorié dans la colonne Dossier local. Tous les chemins d'accès aux espaces de travail de l'agent de build sont mappés en fonction du répertoire racine par défaut affiché.
Pour copier un espace de travail existant vers la liste de dossiers de travail, cliquez sur Copier l'espace de travail existant afin d'accéder à la boîte de dialogue Sélectionner un espace de travail.
L'espace de travail que vous sélectionnez est normalisé au répertoire racine commun sur l'agent de build, $(SourceDir). SourceDir est une variable d'environnement qui se développe vers $(BuildDir)\Sources.
Vous pouvez également cliquer sur une cellule vide du tableau dans Dossier du contrôle de code source, puis cliquez sur le bouton de sélection (...) pour naviguer jusqu'au dossier du contrôle de code source à ajouter comme dossier de travail. Le dossier du contrôle de code source que vous sélectionnez est également fonction du répertoire racine commun de l'agent de build.
Cliquez sur Valeurs par défaut des builds.
Dans le volet Valeurs par défaut des builds, vous pouvez sélectionner le contrôleur de build, s'il en existe un, dans la liste déroulante Contrôleur de build. Vous pouvez éventuellement cliquer sur Gérer pour ouvrir la boîte de dialogue Gérer les contrôleurs de build.
Dans Copier la sortie de build dans le dossier de destination suivant, tapez le chemin d'accès UNC, par exemple (\\serveur\partage). Les fichiers binaires et journaux créés seront enregistrés dans ce dossier une fois la build terminée. Pour plus d'informations sur la configuration d'un dossier de dépôt, consultez Configurer des dossiers de dépôt.
Si vous projetez d'exécuter des tests codés de l'interface utilisateur, des tests de performances de site Web ou des tests de charge dans le cadre de la définition de votre build, vous devez utiliser la sortie du build qui se trouve dans cet emplacement pour lancer ou installer votre application. Pour installer automatiquement votre application à l'issue de la génération et avant l'exécution des tests, vous pouvez utiliser le modèle par défaut de laboratoire qui peut déployer votre application dans un environnement virtuel ou vous pouvez modifier ce modèle pour déployer votre application dans un environnement physique.
Notes
Avant de terminer cette étape, vous devez créer un dossier public pour lequel le compte TFSService possède les droits complets. Pour plus d'informations sur les comptes de service Team Foundation, consultez Afficher les services Team Foundation Server.
Cliquez sur Processus.
Dans la section Obligatoire, cliquez sur Éléments à générer. Cliquez ensuite sur le bouton de sélection (...).
La boîte de dialogue Éléments à générer s'affiche.
Cliquez sur Ajouter. Accédez ensuite à la solution ou au projet que vous voulez générer dans l'arborescence de contrôle de version, puis cliquez sur OK.
Dans la boîte de dialogue Éléments à générer, cliquez sur OK.
Pour ajouter une catégorie de test aux tests à exécuter une fois la build terminée, ouvrez la section Basic. Dans la section Tests automatisés, ouvrez Assembly de test, puis cliquez sur Filtre de catégorie. Entrez le filtre dont vous avez besoin pour sélectionner vos méthodes de test selon votre catégorie de test.
Notes
Le filtre de catégorie de test se compose d'un ou plusieurs noms de catégorie de test séparés par les opérateurs logiques '&', '|', '!', '&!'. Par exemple, ShoppingCart&SmokeTest exécutera tous les tests avec les catégories de test shoppingCart et SmokeTest. Vous pouvez également sélectionner tous les tests dans une catégorie en entrant SmokeTest (les opérateurs logiques '&' et '|' ne peuvent pas être utilisés ensemble pour créer un filtre de catégorie de test).
Pour spécifier un modèle de recherche d'assemblys de test, cliquez sur Spécification de fichier d'assembly de test. Tapez votre chaîne de recherche. Par exemple, **\*test*.dll si vos DLL contiennent toutes le mot « test » dans leur nom.
Notes
Cette chaîne effectuera une recherche de manière récursive dans les répertoires afin d'identifier toutes les DLL correspondant à *test*.dll, située, elle, dans le répertoire des fichiers binaires. Pour plus d'informations à ce sujet, consultez Définir votre processus de build.
(Facultatif) Pour sélectionner un fichier de paramètres de test à utiliser pendant l'exécution des tests, ouvrez Tests automatisés, Assembly de test, cliquez sur Fichier TestSettings, puis cliquez sur le bouton de sélection (...).
La boîte de dialogue Parcourir s'affiche. Accédez au fichier de paramètres .test qui contient les paramètres de test que vous voulez utiliser, puis cliquez sur OK.
Si votre fichier de paramètres de test utilise un contrôleur de test et des agents de test, lisez la procédure suivante : Ajouter les ordinateurs ou comptes d'utilisateurs pour des agents de build et de test au groupe TeamTestControllerUsers.
Si vous exécutez des tests codés de l'interface utilisateur, consultez la procédure suivante pour configurer vos agents en fonction de votre fichier de paramètres de test : Configurer vos agents pour exécuter des tests codés de l'interface utilisateur.
Notes
Vous pouvez utiliser les Paramètres d'agent dans la section Avancé pour sélectionner un agent. Par exemple, si vous exécutez des tests codés de l'interface utilisateur et devez sélectionner un agent qui s'exécute comme un processus interactif, vous pouvez le sélectionner ici.
Pour plus d'informations sur les fichiers de paramètres de test, consultez Créer des paramètres de test pour exécuter des tests automatisés à partir de Visual Studio.
Notes
Il existe deux fichiers de paramètres de test par défaut. Local.testsettings collecte uniquement des informations système, par défaut. Si vous voulez également collecter des données IntelliTrace et des données d'analyse de l'impact de test afin de savoir quels tests recommander en fonction des modifications de la build, sélectionnez le fichier de paramètres de test nommé TraceAndTestImpact.testsettings.
(Facultatif) Pour exécuter des tests de charge dans le cadre du processus de génération, vous devez créer un référentiel de résultats de tests de charge et configurer le contrôleur de test spécifié dans vos paramètres de test pour utiliser ce référentiel. Pour plus d'informations, consultez Comment : sélectionner un référentiel de résultats des tests de charge.
Pour enregistrer votre nouvelle définition de build, cliquez sur Enregistrer.
Votre nouvelle définition de build apparaît dans la fenêtre Team Explorer sous le dossier Builds.
Notes
Si vous voulez ajouter une liste de tests à exécuter une fois la build terminée au lieu d'une catégorie de test, vous pouvez ajouter des arguments de ligne de commande. Pour plus d'informations sur les arguments de ligne de commande, consultez Exécution de tests automatisés à partir de la ligne de commande.
Ajouter les ordinateurs ou comptes d'utilisateurs pour des agents de build et de test au groupe TeamTestControllerUsers
Si le fichier de paramètres de test que vous avez ajouté à votre définition de build utilise un contrôleur de test et des agents de test, vous devez ajouter les ordinateurs pour toute build ou tout agent de test utilisé au groupe de sécurité TeamTestControllerUsers sur l'ordinateur du contrôleur de test. Par exemple, si vous voulez exécuter des tests codés de l'interface utilisateur dans le cadre du processus de génération, ajoutez ces ordinateurs à ce groupe de sécurité.
Avertissement
Si vos agents de build ou agents de test sont configurés pour utiliser un utilisateur différent et non le compte Service Réseau, vous devez vous assurer que ce compte d'utilisateur de domaine est ajouté à la place au groupe TeamTestControllerUsers.
Pour ajouter des ordinateurs ou des utilisateurs pour des agents de build et de test au groupe TeamTestControllerUsers
Depuis l'ordinateur du contrôleur de test, cliquez sur Démarrer, Panneau de configuration, Outils d'administration puis sur Gestion de l'ordinateur.
La boîte de dialogue Gestion de l'ordinateur s'affiche.
Ouvrez Utilisateurs et groupes locaux puis cliquez sur Groupes.
Les groupes s'affichent.
Pour ajouter des utilisateurs ou des ordinateurs, cliquez avec le bouton droit sur TeamTestControllerUsers et pointez sur Ajouter à un groupe.
La boîte de dialogue Propriétés de TeamTestControllerUsers s'affiche.
Regardez dans la liste Membres pour voir si le compte d'utilisateur de domaine ou l'ordinateur a déjà été ajouté. Si ce n'est pas le cas, cliquez sur Ajouter.
La boîte de dialogue Sélectionnez Utilisateurs, Ordinateurs ou Groupes s'ouvre.
Par défaut, seuls les utilisateurs ou groupes sont indiqués. Pour ajouter des ordinateurs, cliquez sur Types d'objets, sélectionnez Ordinateurs puis cliquez sur OK.
Pour ajouter un ordinateur, tapez le nom de l'ordinateur dans Entrez les noms d'objets à sélectionner puis cliquez sur OK.
Avertissement
Vous devez ajouter à la fois l'ordinateur où l'agent de build s'exécute et l'ordinateur de votre agent de test.
Pour ajouter un compte d'utilisateur de domaine, vérifiez que l'emplacement est correct, tapez le nom du compte d'utilisateur dans Entrez les noms d'objets à sélectionner puis cliquez sur OK
Important
Répétez cette étape pour ajouter tous les comptes d'utilisateurs dont vous avez besoin.
Pour enregistrer les modifications apportées, cliquez sur OK.
Configurer vos agents pour exécuter des tests codés de l'interface utilisateur
Si vous voulez exécuter des tests codés de l'interface utilisateur dans le cadre de vos tests planifiés après avoir généré votre application, vous devez effectuer l'une des opérations suivantes :
Utilisez un fichier de paramètres de test qui spécifie un contrôleur de test et les rôles de votre application pour l'exécution de vos tests. Créez ces paramètres de test à l'aide de Microsoft Visual Studio 2010. Pour tout agent de test assigné au rôle qui exécute vos tests dans les paramètres de test, vous devez suivre les étapes de cette procédure pour configurer l'agent de test afin qu'il s'exécute en tant que processus et non en tant que service. Pour plus d'informations sur les contrôleurs de test et les agents de test, consultez Configuration d'ordinateurs de test pour exécuter des tests ou collecter des données et Installation et configuration des agents Visual Studio, des contrôleurs de test et de build.
Utilisez un fichier de paramètres de test qui ne spécifie pas de contrôleur de test. Si vous procédez ainsi, vous devez configurer le service d'agent de build afin qu'il puisse interagir avec le Bureau. Sélectionnez la propriété du service pour Autoriser le service à interagir avec le Bureau. Cela permet à l'agent de build d'exécuter le test codé de l'interface utilisateur.
Avertissement
Si vous exécutez un test codé de l'interface utilisateur qui lance un navigateur, le compte de service du service de build est utilisé pour lancer ce navigateur. Ce compte de service doit être identique au compte d'utilisateur qui est l'utilisateur actif sur cet ordinateur. S'il ne s'agit pas du même compte d'utilisateur, le navigateur ne démarrera pas.
Pour configurer vos agents de test pour exécuter des tests codés de l'interface utilisateur
- Pour configurer vos agents de test pour l'exécution des tests codés de l'interface utilisateur, effectuez les opérations décrites dans la rubrique Comment : configurer votre agent de test pour exécuter des tests qui interagissent avec le bureau.
Pour exécuter le test de vérification de build à l'aide de Team Build
Pour exécuter le test de vérification de build à l'aide de Team Build
Dans Team Explorer, cliquez sur votre projet d'équipe.
Cliquez avec le bouton droit sur Builds puis cliquez sur Mettre en file d'attente une nouvelle build.
(Facultatif) Modifiez l'emplacement et le répertoire de la build.
Cliquez sur File d'attente.
La build démarre et la boîte de dialogue Explorateur de builds s'affiche.
Lorsque la build est terminée, cliquez sur Terminé pour consulter les détails.
Pour consulter les détails de la build, double-cliquez sur la build qui apparaît dans la liste.
Un nouvel onglet s'affiche avec les informations de build. Vous pouvez afficher l'état de l'exécution du test.
Pour afficher les détails des résultats des tests, cliquez sur la flèche pour ouvrir le test puis cliquez sur Afficher les détails des résultats des tests.
Sélectionnez un dossier pour stocker vos résultats de test localement.
Les résultats de test s'affichent désormais dans la fenêtre Résultats des tests.
Pour plus d'informations, consultez Génération de l'application.
Voir aussi
Concepts
Exécution de tests automatisés
Définition de catégories de test pour regrouper vos tests
Définition de listes de tests pour regrouper des tests
Test de performances et de la contrainte d'une application