關於管線測試
Azure DevOps Services |Azure DevOps Server 2022 - Azure DevOps Server 2019
本文說明在管線 測試報告中使用的常用詞彙, 和 測試分析,並提供在 Azure Pipelines 中更佳測試的秘訣。
術語 | 定義 |
---|---|
持續時間 | 執行 測試、測試執行或 組建或發行管線中整個測試執行 所用的時間。 |
擁有者 | 測試 或 測試回合的擁有者。 測試擁有者通常會在測試程式代碼中指定為屬性。 如需查看支持的測試結果格式中 擁有者 屬性的對應,請參閱 發佈測試結果 工作。 |
建置失敗 | 組建的參考 測試案例第一次發生連續失敗。 |
發行失敗 | 參考 版本中的,這是測試案例首次出現連續失敗的情況。 |
結果 | 測試結果有 15 個可能的結果:中止、封鎖、錯誤、失敗、無決定性、進行中、無、不適用、未執行、未受影響、已通過、暫停、逾時、未指定及警告。 一些常用的結果如下: - 中止:測試執行因內部或外部因素而突然終止,例如程式代碼錯誤、環境問題。 - 失敗:測試不符合所需的結果。 - 不確定的:在沒有最終結果的情況下進行測試。 - 未執行:標記為略過執行的測試。 - 不會影響:測試不受觸發管線的程式代碼變更影響。 - 通過:測試已順利執行。 - 逾時:測試執行持續時間超過指定的臨界值。 |
Flaky 測試 | 非決定性行為的測試。 例如,測試可能會針對相同的組態、程式代碼或輸入產生不同的結果。 |
篩選 | 用可用的屬性在結果集中搜尋測試結果的機制。 深入瞭解。 |
群組 | 根據可用屬性來組織測試結果檢視的協助,例如 需求、測試檔案、優先順序等等。 測試報告 和 測試分析 都支援分組測試結果。 |
通過百分比 | 衡量單次執行或一段時間內的測試結果的成功程度。 |
優先順序 | 指定測試的重要性或關鍵性。 優先順序通常會指定為測試程序代碼中的屬性。 如需查看支持的測試結果格式中 優先順序 屬性的對應,請參閱 發佈測試結果 工作。 |
測試分析 | 歷史測試數據的 檢視,以提供有意義的見解。 |
測試案例 | 可唯一識別指定分支內的單一測試。 |
測試檔案 | 根據封裝方式分組測試;例如檔案、DLL 或其他格式。 |
測試報告 | 管線中單一測試執行實例 的 檢視,其中包含狀態的詳細數據,以及疑難解答、可追蹤性等等的說明。 |
測試結果 | 使用特定結果和詳細數據執行測試案例的單一實例。 |
測試回合 | 以下列項目為基礎的測試結果邏輯群組: - 使用內建工作執行的測試:所有使用單一工作執行的測試,例如 Visual Studio Test、Ant、Maven、Gulp、Grunt 或 Xcode,將會在單一測試回合中報告 - 使用 發佈測試結果 任務:提供選項,可將一份或多份測試結果檔案中的所有測試結果分組為單一執行,或按每個檔案個別執行 - 使用 API(s) 發行的測試結果:API(s) 提供彈性來建立測試回合,並視需要組織每個回合的測試結果。 |
可追蹤性 | 能夠從測試結果 追蹤 向前或向後至需求、錯誤或原始程式碼。 |
最佳做法
確保應用程式可靠性需要在 Azure Pipelines 中 完整的測試,單元測試和整合測試至關重要。 在雲端環境中測試整合,特別是 無伺服器應用程式,會因為分散式架構、設定錯誤 IAM 許可權以及服務對服務整合問題而帶來挑戰。
若要解決此問題,請考慮在本機執行程式代碼,同時與正版 Azure 服務互動、促進實際測試,以及啟用適合自動化測試的調試程式工具。 實作此方法需要布建暫時的 Azure 資源。 在理想情況下,請為每個環境建立 個別帳戶,;或者,Azure 管線內的動態布建是可行的,不過這會增加運行時間,而且需要謹慎的資源解除委任規劃。 若要將命名衝突降至最低,請避免明確的資源命名,除非必要,並將環境名稱包含在資源名稱中。
說明與支援
- 請參閱我們的 疑難解答 頁面
- 取得 Stack Overflow的建議,並透過 開發人員社群取得支援