使自動化的測試與測試案例產生關聯
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
Visual Studio 2022 |Visual Studio 2019 |Visual Studio 2017 |Visual Studio 2015
將自動化測試與測試用例產生關聯,可藉由提供更佳的可追蹤性和與 CI/CD 管線的整合,來提升測試流程。 本文將引導您了解在何種情況下將自動化測試與測試案例關聯會帶來好處,以及如何有效地進行此操作。
先決條件
類別 | 要求 |
---|---|
專案存取 | 專案成員。 |
存取層級 | - 若要檢視與測試相關的工作專案或執行測試案例:至少 基本 存取。 具有 項目關係人 存取權的用戶無法存取 Test Plans。 - 若要使用測試相關功能的完整範圍:基本 + 測試計劃 存取層級或下列其中一個訂用帳戶: - 企業 - Test Professional - MSDN 平臺 |
權限 | - 若要新增或修改測試計劃、測試套件、測試案例或其他以測試為基礎的工作專案類型:在此節點中編輯工作專案 許可權設定為 [允許 對應 區域路徑底下。 - 若要修改測試計劃屬性,例如建置和測試設定:管理測試計劃 許可權設定為 允許,於對應的 區域路徑 下。 - 若要建立和刪除測試套件、從測試套件中新增和移除測試案例,或變更與測試套件相關聯的測試組態:管理測試套件 許可權設置為在 區域路徑內的 允許。 - 您可能需要的項目層級許可權包括: - 若要檢視、建立或刪除測試回合:檢視測試回合、建立測試回合,以及 刪除測試回合 的許可權必須設定為允許 。 - 若要管理測試組態或測試環境:管理測試組態 和 管理測試環境。 - 若要將新的標籤新增到測試型工作項目:創建標籤定義 許可權設置為 允許。 - 若要將以測試為基礎的工作項目移出專案:將工作項目移出此項目 許可權設定為 [允許]。 - 若要刪除或還原以測試為基礎的工作專案:將 工作專案的許可權設定為 [允許]。 - 若要永久刪除以測試為基礎的工作專案:永久刪除工作專案, 許可權設定為 [允許]。 |
如需詳細資訊,請參閱 手動測試存取權和許可權。
建立測試專案和建置管線
執行下列步驟來建立測試專案和建置管線。
- 建立包含自動化測試的測試專案。 如需詳細資訊,請參閱 支援何種類型的測試。
- 將您的測試專案簽入 Azure DevOps。
- 為您的專案建立組建管線,並確定其包含自動化測試。 如需詳細資訊,如果您仍在使用 XAML 組建,請參閱 了解有何差異。
在 Visual Studio 中關聯自動化測試
請考慮在下列案例中使用 Visual Studio 將自動化測試與測試案例產生關聯:
自動化手動測試案例:如果您建立了手動測試案例,稍後決定它是一個適合自動化的好候選人,但您仍想在測試計劃中執行它。 您可以在 Visual Studio 測試 工作的設定中選取測試計劃或測試套件,在 CI/CD 管線中執行這些測試。 您也可以從 測試計劃 入口網站執行自動化測試。 如果您使用 XAML 組建,您可以使用 Microsoft Test Manager來執行這些自動化測試。
啟用端對端可追蹤性:如果您的測試案例連結到需求或使用者劇本,您可以使用測試執行的結果來建立這些需求的品質。
請執行下列步驟,將自動化測試與 Visual Studio 中的測試案例產生關聯。
在 Visual Studio Enterprise 或 Professional 2017 或更新版本中開啟您的解決方案。
如果您不知道測試案例的工作專案標識符,請在 Azure Test Plans 中找出測試案例,或查詢工作中樞內的工作專案。
當您知道測試案例的工作項目識別碼時:
如果您使用 Visual Studio 2017 或更新版本,請執行下列步驟來關聯您的測試。
- 如果 [測試總管] 視窗未顯示,請從 測試 | Windows 功能表中開啟它。
- 如果您的測試未顯示在[測試總管]中,請建置方案。
- 在 [測試總管] 中,選取您想要關聯的測試方法,然後選擇 [與測試案例產生關聯]。
- 在開啟的對話框中,輸入測試案例標識碼,然後選擇 [ 新增關聯],然後選擇 [ 儲存]。
對話框會顯示目前與所選測試方法相關聯的測試案例清單。 您無法將多個測試方法與測試案例產生關聯,但您可以將測試方法與多個測試案例產生關聯。
如果您在 Azure DevOps 中使用組建和發行服務,而不是 XAML 組建,您可以使用 visual Studio Test 工作,在組建和發行管線中執行相關聯的測試。 除非您使用 XAML 組建,否則您無法使用 Microsoft Test Manager 隨選執行測試。
測試案例中的參數不會由您與測試案例建立關聯的任何自動化測試使用。 使用這些參數的測試案例反覆專案僅適用於手動測試。
如需詳細資訊,請參閱下列文章:
在 Azure DevOps 中將您的自動化測試關聯
從組建管線建立測試的關聯
流覽至 管線,然後選擇自動化測試執行所在的管線。
選擇執行測試的組建。
在 [測試] 索引標籤中,尋找您想要與手動測試案例連結的自動化測試。
選取測試,然後按一下 關聯測試案例。
找出您要與自動化測試產生關聯的手動測試案例,然後按兩下 [關聯。
將自動化測試與其對應的測試案例產生關聯之後,您就可以利用 Azure Test Plan 任務 執行它們作為管線的一部分。
關於關聯自動化測試的常見問題
請參閱下列常見問題(常見問題)。
問:支援哪些類型的測試?
答:每個測試類型都有下列功能和限制:
框架 | *Visual Studio 中的關聯 | Azure DevOps 中的關聯 |
---|---|---|
已編碼的 UI 測試 | 支持 | 支持 |
硒 | 支持 | 支持 |
MSTest v1/v2 | 支持 | 支持 |
NUnit | 支持 | 支持 |
xUnit | 支持 | 支持 |
Python (PyTest) | 不支援 | 支持 |
Java (Maven 和 Gradle) | 不支援 | 支持 |
* Visual Studio 15.9 Preview 2 或更新版本支援。
使用 Visual Studio 15.9 Preview 2 或更新版本時,使用 .NET Core 架構 的測試可以 與測試案例工作專案相關聯。 執行 .NET Core 測試。 在 .runsettings 檔案中必須指定適當的目標架構。
問:我可以將測試與我的 GitHub 儲存庫關聯嗎?
A:只要您使用 VSTest 工作在 Azure Pipelines 中執行自動化測試,或使用 PublishTestResults 工作回報測試結果,自動化測試就可以與測試案例產生關聯。 請記住,測試必須至少執行一次,才能可供關聯使用。
問:如果我仍在使用 XAML 組建,有何差異?
答:如果您在 Azure Pipelines 中使用 XAML 組建,您可以在實驗室環境中執行您在 Build-Deploy-Test 工作流程中所關聯的測試。 您也可以使用 Microsoft Test Manager 和 實驗室環境來執行測試。
問:我可以設定工作專案以在Visual Studio中開啟嗎?
A: 可以。 如果您想在 Visual Studio 中開啟測試工作項目,而非在網頁瀏覽器中使用預設的 Azure Pipelines UI,請從 Visual Studio 的工具 | 選項功能表中變更工作項目 | 一般設定。