将自动测试与测试用例关联
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
Visual Studio 2022 | Visual Studio 2019 | Visual Studio 2017 | Visual Studio 2015
请考虑在以下情况下使用 Visual Studio 将自动测试与测试用例相关联:
- 你创建了一个手动测试用例,你后来决定是一个很好的测试,可以自动执行,但仍希望能够运行该测试作为测试计划的一部分。 可以通过在 Visual Studio 测试任务的设置 中选择测试计划或测试套件,在 CI/CD 管道中运行测试 。 还可以从 测试计划 Web 门户运行自动测试。 如果使用 XAML 生成,也可以使用 Microsoft测试管理器运行这些自动测试。
- 你想要启用要求的端到端可跟踪性。 如果测试用例链接到要求或用户情景,则测试执行的结果可用于确定这些要求的质量。
先决条件
类别 | 要求 |
---|---|
项目访问权限 | 项目成员. |
访问级别 | - 若要查看与测试相关的工作项或运行测试用例:至少 基本 访问权限。 具有 利益干系人 访问权限的用户无权访问测试计划。 - 若要使用所有与测试相关的功能,需要 基本 + 测试计划 访问级别或以下任意订阅之一: - Enterprise - Test Professional - MSDN 平台 |
权限 | - 若要添加或修改测试计划、测试套件、测试用例或其他基于测试的工作项类型:编辑此节点中的工作项 权限设置为 允许 在相应的 区域路径下。 - 若要修改测试计划属性,如生成和测试设置:管理测试计划 权限设置为 允许 对应的 区域路径。 - 要创建和删除测试套件,添加和删除测试套件中的测试用例,或更改与测试套件相关的测试配置:在相应的 区域路径下,将 管理测试套件 权限设置为 “允许”。 - 可能需要的项目级权限包括: - 若要查看、创建或删除测试运行:查看测试运行、创建测试运行,以及 删除测试运行 设置为“允许”的权限。 - 若要管理测试配置或测试环境:管理测试配置 和 管理测试环境。 - 要将为基于测试的工作项添加标记:将“创建标记定义”权限设置为“允许”。 - 要将基于测试的工作项移出项目:将“将工作项移出此项目”权限设置为“允许”。 - 若要删除或还原基于测试的工作项:删除和还原工作项, 权限设置为 允许。 - 要永久删除基于测试的工作项:将“永久删除工作项”权限设置为“允许”。 |
有关详细信息,请参阅手动测试访问和权限。
创建测试项目和生成管道
执行以下步骤以创建测试项目和生成管道。
- 创建包含自动测试的测试项目。 支持哪些类型的测试?
- 将测试项目检查到 Azure DevOps 中。
- 为项目创建生成管道,并确保它包含自动测试。 如果我仍在使用 XAML 生成,有什么区别?
关联测试
在 Visual Studio Enterprise 或 Professional 2017 或更高版本中打开解决方案。
如果不知道测试用例的工作项的标识符,请在 Azure 测试计划中查找测试用例,或在工作中心查询工作项。
当知道测试用例的工作项的标识符时:
如果使用 Visual Studio 2017 或更高版本,请执行以下步骤来关联测试。
- 如果未显示“测试资源管理器”窗口,请从“测试”中打开它 |Windows 菜单。
- 如果测试未显示在测试资源管理器中,请生成解决方案。
- 在 测试资源管理器中,选择要关联的测试方法,然后选择 “关联到测试用例”。
- 在打开的对话框中,键入测试用例标识符,然后选择 “添加关联”,然后选择“ 保存”。
该对话框显示当前与所选测试方法关联的测试用例列表。 不能将多个测试方法与测试用例相关联,但可以将测试方法与多个测试用例相关联。
如果在 Azure DevOps 中使用生成和发布服务,而不是 XAML 生成,则可以使用Visual Studio 测试任务在生成和发布管道中运行关联的测试 。 除非使用的是 XAML 生成,否则无法使用Microsoft测试管理器按需运行测试。
测试用例中的参数不会由与测试用例关联的任何自动测试使用。 使用这些参数的测试用例的迭代仅适用于手动测试。
有关详细信息,请参阅以下文章:
常见问题
请参阅以下常见问题(常见问题解答)。
问:支持哪些类型的测试?
答:每种测试类型存在以下功能和限制:
- 使用 MSTest 框架 版本 1 编写的编码 UI 测试、Selenium 测试和单元测试可与 测试用例相关联。
- 使用 Visual Studio 15.9 预览版 2 或更高版本时,使用 MSTest v2、NUnit 和 xUnit 框架 的测试可与 测试用例工作项相关联。 但是,无法使用Microsoft测试管理器和 XAML 生成运行这些测试。
- 使用 Visual Studio 15.9 预览版 2 或更高版本时,使用 .NET Core 框架 的测试可以 与测试用例工作项相关联。 运行 .NET Core 测试。 必须在 .runsettings 文件中指定相应的目标框架。 但是,无法使用Microsoft测试管理器和 XAML 生成运行这些测试。
- 使用其他测试框架(例如 Chutzpah)的测试(对于 Mocha 或 QUnit 等 JavaScript 测试),或 Jest 不能 与测试用例相关联。
- 通用测试在 Visual Studio 2022 中不可用。
问:如果我仍在使用 XAML 生成,有什么区别?
答:如果在 Azure Pipelines 中使用 XAML 生成,则可以使用实验室环境运行在生成-部署-测试工作流中关联的测试。 还可以使用Microsoft测试管理器和 实验室环境运行测试。
问:是否可以将工作项配置为在 Visual Studio 中打开?
答: 是的。 如果希望测试工作项在 Visual Studio 中打开,而不是 Web 浏览器中的默认 Azure Pipelines UI,请更改工作项 |工具中的常规设置 |Visual Studio 中的“选项”菜单。