Spouštění testů v procesu sestavení

Jako část procesu sestavení lze pro spuštění automatizovaných testů a analýzu dopadu změn v kódu na testy použít systém Team Foundation Build.Lze například definovat proces sestavení tak, aby vašemu týmu sloužil jako pravidelný plánovaný běh ověřovacího testu sestavení (BVT).Lze také spustit automatizované testy a provádět úlohy související s testy z vašich vlastních procesů sestavení.

[!POZNÁMKA]

Pokud je třeba nasadit aplikaci jako součást procesu sestavení, musíte použít pracovní postup sestavit-nasadit-testovat a testovací prostředí.Automatické testy lze poté spustit jako součást pracovního postupu, nebo je lze spustit samostatně po dokončení pracovního postupu.Další informace naleznete v tématu Automatizované pracovní postupy sestavení-nasazení-testování.

Pomocí systému Team Foundation Build lze provádět následující:

• Příprava na spuštění testů v procesu sestavení

• Spouštění automatizovaných testů

• Zadávání kritérií pro testy spouštěné pomocí nástroje Visual Studio Test Runner

• Dočasný zákaz testů

• Povolení analýzy dopadu testu

• Definování vícenásobných testovacích běhů

• Konfigurace rozhraní pro testování jednotky třetí strany

• Práce s testy ve vlastním procesu sestavení

• Získat další informace

Příprava na spuštění testů v procesu sestavení

Před spuštěním testů v procesu sestavení může být zapotřebí nejprve připravit testy a systém sestavení.

Příprava vašich testů: Zkontrolujte, zda jsou vaše řešení a testovací soubory zapsány do správy verzí.Další informace naleznete v tématu Používání správy verzí.

Kategorizování a určení priority testů (volitelné): K testům lze přiřadit kategorie a priority a poté je pomocí těchto atributů při spuštění ve vašem sestavení filtrovat.Lze například vytvořit kategorii testů nazvanou CI a poté ji zadat v sestaveních nepřetržité integrace.Lze také vytvořit další kategorii pro testy ověření sestavení nazvanou bvt a poté tuto kategorii zadat v naplánovaných sestaveních, jako jsou například noční sestavení.Další informace naleznete v tématu Definování kategorií testů pro seskupení testů, TestCategoryAttribute a PriorityAttribute.

Příprava serveru pro sestavení: Některé druhy testů lze spustit pouze pomocí agenta sestavení na serveru sestavení, který je speciálně nakonfigurován.Pokud jsou například spouštěny programové testy uživatelského rozhraní, je třeba pro interaktivní běh nakonfigurovat službu agenta sestavení.Předtím, než se pokusíte použít proces sestavení pro spuštění testů, ujistěte se, že je lze spustit na serveru, který chcete použít.Další informace naleznete v tématu Použití agenta sestavení pro spouštění testů.

Microsoft Visual Studio je nutné nainstalovat na server sestavení v následujících scénářích:

• K vytvoření libovolného testovacího projektu CPP je třeba nainstalovat aplikaci Visual Studio Professional nebo novější.

• Chcete-li spustit testy jednotky nebo programové testy uživatelského rozhraní, je třeba nainstalovat aplikaci Visual Studio Professional nebo novější.

• Použití dat a adaptérů diagnostických dat:

  1. Pokrytí kódu: Visual Studio Premium nebo vyšší.

  2. Dopad testu: Visual Studio Ultimate.

  3. IntelliTrace: Visual Studio Ultimate.

• Chcete-li vytvořit libovolnou aplikaci moderního stylu v sestavení počítače: Visual Studio Ultimate nebo Visual Studio Express for Windows 8 (na serveru sestavení musí být operační systém Windows 8).

• Chcete-li zkompilovat a spustit testy pro projekt s falešným sestavením: Visual Studio Ultimate.

Spouštění automatizovaných testů

V sestavení, které je založeno na výchozí šabloně, lze provést jeden nebo více testovacích běhů.Pro každé spuštění lze zadat následující nastavení:

• Které testy jsou spouštěny

• Která nastavení jsou použita pro spuštění testů

• Zda má sestavení selhat, pokud selže test

1. V nástroji Průzkumník týmových projektů zvolte možnost Domovská stránka a poté vyberte možnost Sestavení (klávesnice: Ctrl+0,B).

2. Na stránce Sestavení zvolte možnost Nová definice sestavení, nebo pro vybrané sestavení či definici sestavení otevřete kontextovou nabídku a zvolte možnost Úprava definice sestavení.

   Zobrazí se okno definice sestavení.

3. Na kartě Proces vaší definice sestavení vyberte pole Automatizované testy a pak klikněte na tlačítko se třemi tečkami (...).

   Zobrazí se dialogové okno Automatizované testy.

4. Proveďte jeden z následujících kroků:

   • Chcete-li přidat sadu testů, klikněte na volbu Přidat.

   • Pro úpravu sady testů danou sadu vyberte a pak klikněte na volbu Upravit.

   Zobrazí se dialogové okno Přidat nebo upravit test.

5. (Volitelné) Zadejte Název testovacího běhu.Tento název se zobrazí v okně výsledků sestavení.Pokud název nezadáte, systém jej automaticky vygeneruje.

6. Pokud chcete, aby sestavení selhalo, pokud jakýkoli test při spuštění selže, pak zaškrtněte políčko Označit sestavení jako neúspěšné při neúspěšném testu.Pokud nebude toto políčko zaškrtnuto a nějaký test selže, dokončené sestavení bude klasifikováno jako Částečně úspěšné.

7. Specifikace souboru sestavení testu

   Zadejte binární soubory, které obsahují testy, jež chcete spustit.Pokud chcete, aby agent sestavení rekurzivně v podadresáři binaries svého pracovního adresáře vyhledal všechny soubory typu .dll, které odpovídají výrazu *test*.dll, neměňte výchozí hodnotu (**\*test*.dll).Případně můžete podle svých potřeb specifikaci souboru změnit.

8. Pokud chcete, aby testovací běh shromažďoval a publikoval data o pokrytí kódu, nastavte volbu Možnosti na hodnotu Povolit pokrytí kódu.

   Případně můžete pro zadání souboru typu .runsettings použít možnost Vlastní.Další informace naleznete v tématu Přizpůsobení analýzy pokrytí kódu.

9. Z nabídky Vybrat cílovou platformu pro provedení testu vyberte možnost x86 pro testování 32bitových binárních souborů, nebo možnost x64 pro testování 64bitových binárních souborů.

10. Můžete zadat kritéria pro testy, které jsou spouštěny.

Zadávání kritérií pro testy spouštěné pomocí nástroje Visual Studio Test Runner

Pro filtrování testů, které jsou spouštěny, lze zadat dvojice název/hodnota.Pokud používáte pro organizování a přiřazení priorit kategorie testů a prioritní atributy, můžete filtrovat testy pomocí názvů TestCategory a Priority.

Kategorie testů lze zadat v jednom z následujících tvarů:

• **Zadejte dvojici název/hodnota jednoho mají být zahrnuty.**Například může mít test kategorii, která je volána bvt.Pro spouštění testů pouze z této kategorie nastavte Filtr testovacích případů na TestCategory=bvt.

• **Pomocí zadat více kategorií test || ("nebo" operátor).**Můžete například zadat TestCategory = quick||TestCategory = grafického uživatelského rozhraní pro spuštění testů v rychlé kategorii a testy v kategorii grafického uživatelského rozhraní.

Dočasný zákaz testů

Pokud je třeba dočasně zakázat testy bez odstranění sad testů, které je obsahují, rozbalte uzel Upřesnit a nastavte možnost Zakázat testy na hodnotu True.Pokud je třeba testy opět povolit, nastavte hodnotu zpět na False.

Povolení analýzy dopadu testu

Testeři a vývojáři mohou chtít vědět, jakým způsobem ovlivnily testy změny kódu, které jsou obsaženy v dokončeném sestavení.Při povolení analýzy dopadu testu v sestavení systém analyzuje a poté podá informace o tom, jak změny kódu ovlivnily testy v sestavě sestavení dokončeného sestavení.

Povolení analýzy dopadu testu v procesu sestavení, který je založen na Výchozí šabloně

1. Nakonfigurujte analýzu dopadu testu v souboru nastavení testu.

   Další informace naleznete v tématu Postupy: Shromáždění dat pro kontrolu, které testy mají být spuštěny po změně kódu.

2. Vytvořte sadu testů, která je nakonfigurována pro použití souboru nastavení testu.

   Další informace naleznete v tématu Provádění automatizovaných testů výše v tomto tématu.

3. Rozbalte uzel Upřesnit a ujistěte se, že je možnost Analyzovat dopad testu nastavena na hodnotu True a možnost Zakázat testy je nastavena na hodnotu False.

Definování vícenásobných testovacích běhů

Můžete definovat tolik testovacích běhů, kolik jich je zapotřebí pro splnění požadavků týmového procesu sestavení a testování.V následujících scénářích může být například potřeba definovat více testovacích běhů v jednom sestavení:

• Pro testování řešení, které produkuje 32bitové a 64bitové verze binárních souborů, je třeba použít nástroj Visual Studio Test Runner.

• Máte dvě sady testů:

  • Sada základních testů s nejvyšší prioritou, které musí být úspěšné.Definujte sadu testů, která zahrnuje volby Nejnižší priorita testu a Nejvyšší priorita testu s hodnotou 1.Zaškrtněte políčko Označit sestavení jako neúspěšné při neúspěšném testu.

  • Sada méně důležitých testů, které chcete spustit, ale které nemusí být nutně úspěšné, aby bylo sestavení použitelné.Definujete sadu testů, která zahrnuje nastavení hodnoty Nejnižší priorita testu na 2 a hodnoty Nejvyšší priorita testu na 3.Ponechejte políčko Označit sestavení jako neúspěšné při neúspěšném testu nezaškrtnuté.

• Chcete spustit stejnou sadu testů s různým nastavením.

• Potřebujete hlavní sadu sestavení, která bude sestavena tak, aby se na ni vztahovalo pokrytí kódu.Přitom však existuje jiná sada sestavení z externího zdroje, která pokrytí kódu nevyžaduje.Pro povolení tohoto druhu procesu lze také použít dvě sady testů, které jsou konfigurovány pro použití dvou skupin souborů nastavení testu.

Povolení rozhraní jednotky třetí strany

Proces sestavení může spustit testy jednotky na základě rozhraní pro testování jednotky třetí strany pouze v případě, že jste poskytli kontrolér sestavení s přístupem k sestavení rozhraní třetích stran.

1. Vyhledejte nebo v případě potřeby zadejte cestu kontroléru sestavení k vlastním sestavením.

2. Vyhledejte nebo v případě potřeby vytvořte mapování z vlastní složky sestavení na serveru do místní složky v pracovním prostoru.

3. Získejte modul plug-in testu jednotky jiného výrobce:

   Adaptér	Jazyk
   Zvýšení výkonu	C++
   Chutzpah	JavaScript
   Google	C++
   MbUnit	C#
   MSpec	MSpec
   nUnit	C#
   Nástroje jazyka Python pro sadu Visual Studio	Python
   Program Silverlight	Silverlight
   TSTestAdapter	TypeScript
   VsNodeTest	Node.js
   xUnit.net	C#
   xUnit ++	C++

4. Přejmenujte soubor modulu plug-in .vsix na soubor .zip.Můžete použít například příkazový řádek tímto způsobem:

   C:\Downloads>ren NUnitTestAdapter.vsix NUnitTestAdapter.zip
   

5. Rozbalte obsah souboru .zip do složky místního pracovního prostoru, kterou jste mapovali v kroku 2.

6. Vrácení souborů se změnami.

   Tip

   Strategie práce s binárními soubory třetích stran při správě verzí naleznete v tématu Využití binárních souborů třetích stran, které váš kód nesestaví.

[Visual Studio 2012.3] obsahuje vylepšení pro rozhraní pro testování jednotky třetí strany k automatizaci jejich zahrnutí do definice sestavení týmu.

Upozornění
Chcete-li zajistit, aby rámec obsahoval vylepšení definice sestavení, možná bude potřeba nainstalovat nejnovější verzi balíčků NuGet pro rozhraní pro testování jednotky třetí strany.

Povolení rozhraní pro testování jednotky třetí strany v kontroléru sestavení – [Visual Studio 2012.1]

1. V Průzkumníku řešení otevřete kontextovou nabídku projektu testu a zvolte možnost Spravovat balíčky NuGet.

2. V dialogovém okně Spravovat balíčky NuGet vyberte v levém sloupci uzel Online.

3. Vyberte balíček NuGet pro rozhraní pro testování jednotky třetí strany a zvolte možnost Instalovat.

4. Po dokončení instalace balíčku NuGet zvolte možnost Zavřít.

5. V Průzkumníku řešení otevřete kontextovou nabídku řešení a zvolte možnost Přidat řešení do správy zdrojových kódů.

6. Nyní můžete zařadit sestavení do fronty a automaticky se spustí testy v rozhraní pro testování jednotky třetí strany.

Práce s testy ve vlastním procesu sestavení

Pokud tým vyžaduje proces sestavení s hlouběji upravenými možnostmi, lze i v rámci vlastního procesu sestavení provádět testy a spouštět a provádět další úkoly s nimi související.Další informace naleznete v tématu:

• Spouštění testů pomocí aktivity RunTests

• Spouštění testů pomocí aktivity MSTest

• Získání seznamu testů, které sestavení ovlivňuje (aktivita GetImpactedTests)

Zkusit tento další

Plánování ručních testů pomocí aplikace Team Web Access

Dostat se hlouběji

Téma Použití výchozí šablony pro proces sestavení poskytuje další informace o tom, jak vytvořit definici sestavení, která je založena na Výchozí šabloně.Toto téma obsahuje informace o nastavení bitové verze Platformy, kterou lze použít při kompilování kódu.

Viz také

Koncepty

Definování procesu sestavení

Spouštění automatizovaných testů z pracovního postupu sestavení-nasazení-testování

Další zdroje

Spouštění systémových testů s použitím sady Microsoft Visual Studio