使用 Analysis Services 数据库中的测试透视分析和报告测试结果 (Visual Studio ALM)

通过在 SQL Server analysis services 多维数据集的测试透视图 Visual Studio Team Foundation Server的,可以查看度量,的维度,因此,与报告特性测试结果和测试运行。 例如,可以使用这些措施确保每个生成的总体质量,测试特定生成受影响的和运行测试用例的数目。 还可以回答有关更改的问题对结果。

测试度量值组根据测试结果相关的表,启用报告测试结果作为其中一个特性测试或独立结果。 有关更多信息,请参见 “测试结果”表

测试度量值组

使用测试透视图,您可以创建回答以下问题的报表:

状态 " 报表:

  • 什么是测试的状态特定用户情景或产品区域?

  • 什么是根据数字的生成质量的失败,并通过测试?

  • 有多少测试用例从未运行?

  • 哪些测试用例从未运行?

趋势 " 报表:

  • 有多少测试被阻止,通过或一段时间内未通过?

  • 有多少测试正在回归?

  • 的一致的是在手动测试操作?

说明说明
如果 Visual Studio Application Lifecycle Management (ALM) 的数据仓库使用的是 SQL Server Enterprise Edition,则多维数据集列表中将包括 Team System 和一组透视图。这些透视图提供了数据的集中视图,这样您就必须将所有维度和度量值组移动整个 Team System 多维数据集的。

若要使用许多测试度量,并且维度特性,测试团队必须将测试结果发布到 Team Foundation Server的数据存储区。 有关更多信息,请参见 管理所需的活动测试和生成 本主题。

主题内容

  • 示例:测试用户情景进度 " 报表

  • 测试以度量

  • 若要支持筛选和类别的维度和属性在测试透视图

    • 生成、生成风格和生成平台维度

    • 测试用例,测试配置,测试计划,将测试套件维度

    • " 测试结果 " 维度

    • 测试运行 " 维度

    • 工作项和工作项链接的维度

  • 管理所需的活动测试和生成

示例:测试用户情景进度 " 报表

使用 Excel 中的数据透视表和数据透视图报表,则在下图中可以创建显示在用户情景的测试进度的状态 " 报表,与该报表。

Excel 格式的“用户情景测试状态”报表

Microsoft solutions framework v5.0 的 (MSF)过程模板包含 " 用户情景测试状态 " 报表,并要求测试在 Excel 的状态 " 报表。 有关更多信息,请参见Excel 格式的“用户情景测试状态”报表(敏捷)Excel 格式的“要求测试状态”报表 (CMMI)

返回页首

ms244708.collapse_all(zh-cn,VS.110).gif指定和筛选转动字段

用户情景测试进度的透视字段

通过执行以下步骤,可以创建测试用户情景的进度 " 报表:

  1. 在 Excel 中,连接到 analysis services Team Foundation Server的多维数据集,然后插入数据透视图报表。

    有关更多信息,请参见 在 Microsoft Excel 中为 Visual Studio ALM 创建报表

  2. 右击图表,单击 更改图表类型,单击 区域,然后单击 堆积条形图

  3. 对于每个报表筛选器和字段,右击以下字段中的每一个,指定层次结构或感兴趣的元素,然后将该字段设置为 报表筛选 区域。

    • 团队项目 维度的团队项目层次结构

    • 团队项目 维度的区域路径

    • 测试用例 维度的迭代路径

    • 链接的工作项 维度的工作项类型

      指定类型作为用户情景、要求,或者与其链接到的测试用例的其他类型的工作项要报告。

  4. 测试 度量值组在下拖动 点计数趋势 字段设置为 区域。

  5. 测试结果 维度下拖动 结果 字段设置为 列标签 区域。

返回页首

测试以度量

下表描述测试度量值组包含的度量。 可以分析是通过聚合测试结果及其结果特定生成中或被更改的结果的测试结果。

度量值

说明

生成结果计数趋势

计数每个结果的最新版本在特定生成中。

有关使用此度量值报表的示例,请参见 Excel 格式的“生成质量”报表

点计数趋势

最新版本的计数特定生成中每个测试结果。 如果某个测试针对一个生成运行了多次,则“点计数趋势”会为使用该生成的该测试计算最新结果。 如果测试用例在生成中不包含,测试用例例作为 “从不运行”计数。

使用此度量值确定哪些测试或多少测试失败当前生成。

结果计数

计数最新版本的每个测试结果。 ,如果需要确定测试时,的总数请使用此度量值。

有关使用此度量值报表的示例,请参见 “生成质量指示器”报表

结果进行计数

计数结果在特定生成更改的所有结果。 请使用此度量值,如果需要确定时哪些测试受特定生成的影响。

测试用例计数

测试用例数。 请使用此度量值,如果需要确定时有多少测试用例组的运行测试运行或的生成。

若要支持筛选和类别的维度和属性在测试透视图

使用属性本节描述,可以聚合度量,筛选报表或指定报表轴。 这些属性是除了 具有共享维度一起使用 描述的 团队项目日期 共享维度之外。

本节内容

  • 生成、生成风格和生成平台维度

  • 测试用例,测试配置,测试计划,将测试套件维度

  • " 测试结果 " 维度

  • 测试运行 " 维度

  • 工作项和工作项链接的维度

返回页首

ms244708.collapse_all(zh-cn,VS.110).gif生成、生成风格和生成平台维度

可以筛选生成定义基于的报告,生成类似或生成平台通过使用下表中描述的属性。

维度

特性

说明

Build

生成定义名称

指派给生成定义以生成执行的名称。

有关使用此特性报表的示例,请参见 Excel 格式的“生成质量”报表

生成 ID

指派给生成的数字。 每次特定生成定义运行, 生成 ID 由 1. 增加。

生成名称

唯一标识生成的名称或表达式。 有关更多信息,请参见使用生成号

生成启动时间

日期和时间,在生成开始时。

生成类型

原因运行生成。 生成类型与用于生成定义的触发器。 Team Foundation Server 支持生成的以下类型:准则,持续 (由每一次签入触发),滚动 (聚合签入,直到上一个生成完成),封闭签入和计划。 有关更多信息,请参见指定生成触发器和原因

放置位置

为生成定义,并将指定为统一资源定位器 (url) 的放置文件夹 (URL)。 URL 指定 web 浏览器将 internet 资源的协议。 URL 还包括该资源位于服务器的名称。 还可以包含路径。资源。

有关更多信息,请参见 选择临时位置和设置放置文件夹

生成风格

生成风格

(仅发布测试结果) 指定生成类别将分配给设置已完成的生成发布为测试运行的一部分的名称。 例如,生成与可用于指定 Beta 版或最终发布。 有关更多信息,请参见用于发布测试结果的命令行选项

生成平台

生成平台

端到端设备平台的名称 (不是桌面如) 生成 (, x86任何 CPU)。 有关更多信息,请参见定义基于默认模板的生成过程

返回页首

ms244708.collapse_all(zh-cn,VS.110).gif测试用例,测试配置,测试计划,将测试套件维度

测试用例,测试配置,测试计划,将测试套件维度对应于如何组织,配置,自动化,然后运行测试使用与 Microsoft Visual Studio 2010 旗舰版的测试管理器或 Visual Studio 专业测试工具版。

测试用例对应于测试团队使用定义手动和自动测试工作项类型的团队可以运行,并管理使用 Microsoft 测试管理器。 测试计划中测试配置和测试套件。 测试配置定义软件或要运行的硬件。 测试套件定义在项目中的层次结构,以便用例组织测试用例。

有关更多信息,请参见下列主题:

维度

特性

说明

测试用例

区域层次结构和更多

工作项和测试用例维度包含与工作项关联,如状态、工作项类型以及工作项 ID 的所有属性 有关测试用例 " 维度框架的信息,请参见 使用工作项透视分析和报告工作项和测试用例数据

有关每个属性的说明,请参见 工作项字段参考 (Visual Studio ALM)

有关如何的信息和日期时,区域和迭代层次结构,请参见 在 Analysis Services 多维数据集中使用共享维度

,在定义的自定义字段的工作项类型指定 Dimension 为可报告特性时,此度量值组包含其他属性。 有关如何使用选项 reportable 属性及其值的更多信息,请参见 添加和修改工作项字段以支持报告

测试配置

配置 ID 和配置名称

该系统分配的数量和测试配置的名称。

测试计划

区域层次结构、区域路径、迭代层次结构和迭代路径

分配给测试计划的产品区域和里程碑。

有关更多信息,请参见 使用工作项透视分析和报告工作项和测试用例数据

结束日期层次结构在月份之前或在周之前

开始日期层次结构在月份之前或在周之前

测试计划所有者可以分配给测试计划的选项值。 它们表示测试计划应开始的日期和测试计划应完成的日期。

有关如何安装的更多信息和日期层次结构使用,请 在 Analysis Services 多维数据集中使用共享维度参见。

测试计划 ID 和测试计划名称

该系统分配的数量和测试计划所有者分配的名称。

测试计划所有者

创建或当前测试团队成员的用户名指定为测试计划的所有者。

测试计划 ID 和状态

测试计划的状态的系统分配的数量和名称。 例如, 非活动 指示测试计划中定义,并且, 活动 指示测试计划准备评审和运行。

测试套件

测试套件层次结构

提供一个结构指定根据项目集合的多个筛选器,团队项目,并且测试套件。

套件路径

对应于层次结构为所有团队项目集合的所有团队项目配置的测试套件。

返回页首

ms244708.collapse_all(zh-cn,VS.110).gif" 测试结果 " 维度

下表列出了特定于多维数据集的测试以度量的所有维度和属性。 在可以报告 失败类型解析之前,测试团队必须填写此信息作为其测试的一部分事件。

特性

说明

失败类型和失败类型 ID

分别对应于以下原因之一的原因测试失败: 已知问题新问题回归测试

Microsoft 测试管理器自动分配编号或 ID 为每个原因。 测试团队可以,但是,不需要为,则分配失败类型到失败的每个测试。

说明说明
您无法添加到或更改设置失败类型。

对于显示结果的趋势报表的示例基于失败类型的测试结果,请参见 Excel 格式的“失败分析”报表

结果和结果 ID

测试结果 (例如, 通过失败无结论)。

对于显示趋势 " 报表示例结果、测试计划和测试配置,请参见 “测试计划进度”报表

准备状态和准备指定 ID

特定的状态在测试运行中测试。 有效值为 完成InProgressNotReady准备就绪

解决状态

(可选) 测试人员标识的原因失败 解析 的名称。 默认情况下,所有 MSF 过程模板具有以下解决状态: 需要调查测试问题产品问题配置问题。 测试团队可以,但是,不需要为,则分配解决状态到失败的每个测试。

说明说明
您不能在创建项目后更改或添加状态。有关更多信息,请参见 Defining Resolution States for Test

执行的测试结果

用户还是其他的名称运行测试的帐户。

有关使用此特性报表的示例,请参见 Excel 格式的“测试团队效率”报表

测试结果所有者

指派为测试结果所有者的用户或其他帐户的名称。 该分配对应于使用 tcm /resultowner 开关,设置的值。

测试结果优先级

特定的优先级在测试运行中测试。

返回页首

ms244708.collapse_all(zh-cn,VS.110).gif测试运行 " 维度

下表描述了为测试运行 " 维度中定义的属性。 其中的许多属性对应于测试团队指定的参数时运行并发布测试。 有关更多信息,请参见 tcm:使用命令行实用工具从测试计划运行测试

特性

说明

结束日期,创建日期,开始日期层次结构在月份之前或在周之前

日期,在测试运行过程中创建的,完成或者启动。 可以使用这些属性筛选或结构报表。 有关更多信息,请参见 在 Analysis Services 多维数据集中使用共享维度

自动

标记指示测试运行包含自动化的一个或多个测试。

有关使用此特性报表的示例,请参见 Excel 格式的“生成质量”报表

是运行的生成验证

标记指示测试是否包含生成验证测试检查生成的基本功能。 此标志对应于 tcm /buildverification 开关。

有关使用此特性报表的示例,请参见 Excel 格式的“生成质量”报表

测试运行的 ID。

该系统分配给测试运行的数目。

测试运行所有者

对应于指派给测试运行的所有者测试团队创建或发布到。 对应于 tcm /owner 开关。

测试治理的状态和 ID

例如分配给测试运行状态的名称或序号 (, 中止完成正在进行未开始未知)。

测试运行标题

对应于指派给测试运行的标题测试团队创建或发布到。 对应于 tcm /title 开关。

返回页首

ms244708.collapse_all(zh-cn,VS.110).gif工作项和工作项链接的维度

可以链接到其他工作项测试用例如用户情景、要求和 bug。 通过使用工作项链接的维度,可以创建提供测试结果与链接的工作项相关的报表。 测试用户情景进度 " 报表,本主题前面描述,提供示例链接的工作项。

有关每个属性的说明,请参见 工作项字段参考 (Visual Studio ALM)

管理所需的活动测试和生成

若要创建包含有用的数据的报告,团队成员必须执行以下活动来管理生成和测试:

  • 生成操作

    • 配置生成系统。 若要使用 Team Foundation Build,团队必须生成系统。

      有关更多信息,请参见 Configure Your Build System

    • 创建生成定义。 团队必须至少创建一个生成定义。 团队可以创建多个生成定义,每个可以运行到不同的平台生成代码。 此外,团队可以运行不同的配置的每个生成。

      有关更多信息,请参见创建生成定义

    • (建议) 运行的生成定期。 团队可以自动运行生成在它们在每次签入之后指定或的间隔。 通过使用计划触发器,团队可以同时自动运行它们指定生成或时间当天或天。

      有关更多信息,请参见指定生成触发器和原因运行、监视和管理生成

    有关更多信息,请参见 Team Foundation Build 活动

  • 测试管理活动

    • 定义测试用例,测试计划,将测试配置。 若要报告测试用例和测试计划,测试团队必须定义这些项目。 测试团队还定义测试套件和测试用例分配给测试计划。

    • (可 选)分配,产品区域和里程碑到测试和跟踪状态。 测试团队可以指定 区域 ,并且每个对象的 迭代 路径测试用例和测试计划。 指定每个的 状态 测试用例,并 测试计划状态 每个测试计划。

    • (可选) 将 测试用例链接到工作项。 例如,测试团队监视在每个情景的进度使用 测试方 链接类型与测试用例链接到用户情景。

    • (可 选)标记测试结果。 对于手动测试,测试团队可以每个验证步骤的结果标记将测试用例中为通过或未通过。

      重要

      测试人员必须指示每个验证测试步骤的状态。测试的总体结果反映已标记的所有测试步骤的状态。因此,若要测试的状态将为未通过,则测试人员已标记有任何测试步骤标记为未通过或不指示所有步骤。

      自动化的每个测试都会自动标记为通过或未通过。

    • (可 )配置测试收集代码复盖率数据。 为使代码覆盖率数据显示在报告中,团队成员必须对测试进行检测以收集相关数据。

      重要

      若要收集数据的代码复盖率,您可以在生成代理计算机上安装 Visual Studio 高级专业版 或 Visual Studio 旗舰版 。有关更多信息,请参见部署和配置生成代理

      有关更多信息,请参见使用测试设置的代码覆盖率已弃用How to: Gather Code-Coverage Data with Generic Tests

    • 定义要随生成自动运行的测试。 在生成定义中,可以定义自动测试运行作为生成的一部分,并分析代码更改对测试的影响。

      有关更多信息,请参见定义基于默认模板的生成过程

    • 发布测试。 作为生成的一部分和测试操作,测试团队必须将测试结果发布到 Team Foundation Server的数据存储区。

      有关更多信息,请参见用于发布测试结果的命令行选项

返回页首

请参见

概念

使用生成透视分析和报告生成详细信息和生成覆盖率

Analysis Services 多维数据集中提供的透视和度量值组 (Team System)

其他资源

在生成过程中运行测试