测试摘要趋势示例报表

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

可以查询包含测试任务的管道以生成测试摘要趋势报告。 例如，以下报表显示 24 天内每列中失败的测试运行数，以及显示测试通过率趋势的折线图。 有关将测试添加到管道的信息，请参阅 本文后面的“测试任务资源 ”部分。

具体而言，本文提供了用于生成以下报表的示例查询：

• 生成工作流的测试摘要趋势
• 发布工作流的测试摘要趋势
• 特定分支的测试摘要趋势
• 特定测试文件的测试摘要趋势
• 特定测试所有者的测试摘要趋势。

重要

Power BI 集成 和对 分析服务的 OData 源 的访问权限通常用于 Azure DevOps Services 和 Azure DevOps Server 2020 及更高版本。 本文中提供的示例查询仅适用于 Azure DevOps Server 2020 及更高版本，具体取决于 v3.0-preview 或更高版本。 我们鼓励你使用这些查询并提供反馈。

先决条件

• Access：至少是具有基本访问权限的项目的成员。
• 权限： 默认情况下，项目成员有权查询 Analytics 和创建视图。
• 有关服务和功能启用和常规数据跟踪活动的其他先决条件的详细信息，请参阅 访问 Analytics 的权限和先决条件。

注意

本文假设你阅读 了使用 OData 查询 的示例报表概述，并基本了解 Power BI。

示例查询

可以使用实体集的以下查询 TestRuns 来创建不同的但类似的管道测试摘要趋势报告。 TestRuns仅当在管道定义中包含测试任务时，以下查询的实体集才可用。

注意

若要确定用于筛选器或报表目的的可用属性，请参阅 Azure Pipelines 的测试计划分析和元数据参考的元数据参考。 可以使用 提供的 EntitySet或 NavigationPropertyBinding Path 值下EntityType的任何Property值筛选查询或返回属性。 每个对应 EntitySet 一个 EntityType。 有关每个值的数据类型的详细信息，请查看为相应 EntityType值提供的元数据。

生成工作流的测试摘要趋势

使用以下查询查看生成工作流管道的测试摘要趋势。

Power BI 查询

将以下 Power BI 查询直接复制并粘贴到 “获取数据>空白查询” 窗口中。 有关详细信息，请参阅 使用 OData 查询的示例报告概述。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby( "
          &"(CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 查询

在 Power BI 中使用查询之前，可以使用以下 OData 查询代码对其进行修改或测试。 有关详细信息，请参阅 使用 Power BI 和 OData 查询进行连接。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	and Workflow eq 'Build'
	)
/groupby(
	(CompletedOn/Date), 
	aggregate(
	ResultCount with sum as ResultCount,
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount
	))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

发布工作流的测试摘要趋势

使用以下查询查看为 发布 工作流定义的管道的测试摘要趋势。

Power BI 查询

将以下 Power BI 查询直接复制并粘贴到 “获取数据>空白查询” 窗口中。 有关详细信息，请参阅 使用 OData 查询的示例报告概述。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Release' "
            &") "
        &"/groupby( "
          &"(CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 查询

在 Power BI 中使用查询之前，可以使用以下 OData 查询代码对其进行修改或测试。 有关详细信息，请参阅 使用 Power BI 和 OData 查询进行连接。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate})
/groupby((Workflow, CompletedOn/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

按分支筛选的测试摘要趋势

若要查看特定分支管道的测试摘要趋势，请使用以下查询。 若要创建报表，请执行以下额外步骤以及本文后面的说明。

• 展开 Branch 到 Branch.BranchName
• 选择 Power BI 可视化切片器，并将字段 Branch.BranchName 添加到切片器的 字段
• 从切片器中选择需要查看结果摘要的分支名称。

有关使用切片器的详细信息，请参阅 Power BI 中的切片器。

Power BI 查询

将以下 Power BI 查询直接复制并粘贴到 “获取数据>空白查询” 窗口中。 有关详细信息，请参阅 使用 OData 查询的示例报告概述。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Branch/BranchName, CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 查询

在 Power BI 中使用查询之前，可以使用以下 OData 查询代码对其进行修改或测试。 有关详细信息，请参阅 使用 Power BI 和 OData 查询进行连接。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	and Workflow eq 'Build')
/groupby((Branch/BranchName, CompletedOn/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

测试摘要趋势按测试文件筛选

若要查看特定测试文件的管道的测试摘要趋势，请使用以下查询。 若要创建报表，请执行以下额外步骤以及本文稍后定义的内容。

• 展开 Test 到 Test.ContainerName
• 选择 Power BI 可视化切片器，并将字段 Test.ContainerName 添加到切片器的 字段
• 从需要查看结果摘要的切片器中选择容器名称。

Power BI 查询

将以下 Power BI 查询直接复制并粘贴到 “获取数据>空白查询” 窗口中。 有关详细信息，请参阅 使用 OData 查询的示例报告概述。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Test/ContainerName, Date/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 查询

在 Power BI 中使用查询之前，可以使用以下 OData 查询代码对其进行修改或测试。 有关详细信息，请参阅 使用 Power BI 和 OData 查询进行连接。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((Test/ContainerName, Date/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

测试所有者筛选的测试摘要趋势

若要查看特定测试所有者拥有的测试的管道的测试摘要趋势，请使用以下查询。 若要创建报表，请执行以下额外步骤以及本文稍后定义的内容。

• 展开 Test 到 Test.TestOwner
• 选择 Power BI 可视化切片器，并将字段 Test.TestOwner 添加到切片器的 字段
• 从切片器中选择需要查看结果摘要的测试所有者。

Power BI 查询

将以下 Power BI 查询直接复制并粘贴到 “获取数据>空白查询” 窗口中。 有关详细信息，请参阅 使用 OData 查询的示例报告概述。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Test/TestOwner, Date/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 查询

在 Power BI 中使用查询之前，可以使用以下 OData 查询代码对其进行修改或测试。 有关详细信息，请参阅 使用 Power BI 和 OData 查询进行连接。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((Test/TestOwner, Date/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

替换字符串和查询明细

将以下字符串替换为值。 不要在替换中包含括号 {} 。 例如，如果组织名称为“Fabrikam”，请将 替换为 {organization}Fabrikam，而不是 {Fabrikam}。

• {organization} - 组织名称
• {project} - 团队项目名称
• {pipelinename} - 管道名称。 示例：Fabrikam 每小时生成管道
• {startdate} 开始报表的日期。 格式：YYYY-MM-DDZ。 示例：2023-01-01Z 表示 2023 年 1 月 1 日 12：50：54。 不要用引号或方括号引起来。

查询明细

下表描述了查询的每个部分。

查询部件

描述

$apply=filter(

Start filter() 子句。

Pipeline/PipelineName eq '{pipelineName}'

返回指定管道的测试运行。

and CompletedOn/Date ge {startdate}

返回在指定日期或之后运行的测试。

and Workflow eq 'Build'

使用工作流返回管道 Build 的测试运行

)

Close filter() 子句

/groupby(

Start groupby() 子句。

(CompletedOn/Date),

按测试运行完成日期分组。

aggregate(

Start aggregate 子句。 对于匹配筛选条件的所有测试运行，请对计数系列求和。

ResultCount with sum as ResultCount,

将测试运行总数计为 ResultCount。

ResultPassCount with sum as ResultPassCount,

将通过的测试运行总数计为 ResultPassCount。

ResultNotExecutedCount with sum as ResultNotExecutedCount,

将未执行的测试运行总数计为 ResultNotExecutedCount。

ResultNotImpactedCount with sum as ResultNotImpactedCount

将未受影响的测试运行总数计为 ResultNotImpactedCount。

ResultFailCount with sum as ResultFailCount

将失败的测试运行总数计为 ResultFailCount。

))

Close aggregate() 和 groupby() clauses。

/compute(

Start compute() 子句。

iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate

计算所有天数 PassRate。

)

Close compute() 子句。

(可选) 重命名查询

可以将默认查询标签 Query1 重命名为更有意义的标签。 只需在 “查询设置” 窗格中输入新名称。

在 Power BI 中展开 CompletedOn 列

CompletedOn展开列。 展开列会将记录平展到特定字段中。 若要了解如何操作，请参阅 转换分析数据以生成 Power BI 报表，展开列。

更改列数据类型

从Power Query 编辑器中，选择PassRate列;从“转换”菜单中选择“数据类型”;然后选择“十进制数字”。

有关更改数据类型的详细信息，请参阅 转换分析数据以生成 Power BI 报表，转换列数据类型。

关闭查询并应用更改

完成所有数据转换后，从“开始”菜单中选择“关闭和应用”以保存查询并返回到 Power BI 中的“报表”选项卡。

创建折线图和堆积柱形图报表

1. 在 Power BI 的“可视化效果”下，选择“折线图”和“堆积柱形图”，然后将字段拖放到图表区域。

   

2. 添加到 CompletedOn.Date X 轴，右键单击字段并选择 Date.Date 而不是 日期层次结构。

3. ResultFailCount添加到列 y 轴。

4. PassRate添加到线条 y 轴。

报表应如下图所示。

测试任务资源

• 使用 Visual Studio 测试任务并行运行测试
• 针对任何测试运行程序并行运行测试
• 使用测试影响分析 (TIA) 加快测试速度
• 管理浮点测试
• UI 测试注意事项
• Azure 负载测试
• Azure Pipelines 任务参考、测试任务

相关文章

• 构造用于分析的 OData 查询
• Azure Pipelines 的元数据参考
• 示例报表和快速参考索引