你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
试验（预览版）
注意
我们非常感谢在 Azure 应用程序配置试验预览阶段收到你的反馈，我们的团队正在利用这些反馈对该功能进行更新。 在此期间，试验工作区将暂时不可用。
试验是系统性测试假设或更改以提高用户体验或软件功能的过程。 此定义也适用于大多数科学领域，包括科技，其中所有试验都有四个常见步骤：
- 制定一个假设来记录此试验的目的，
- 概述执行试验的方法，包括设置、度量的内容和方法，
- 观察上一步中定义的指标所度量的结果，
- 就假设是否成立得出结论。
与试验相关的概念
变体功能标志：表示功能的不同版本或配置。 在试验中，变体功能标志会与你感兴趣的指标以及为应用程序受众分配的流量进行比较。
遥测：遥测是功能变体和相关指标的数据，用于评估功能。
A/B 测试：A/B 测试（也称为试验）是一种行业标准方法，用于评估技术堆栈中潜在变化的影响。
最小抽样大小：它是试验的每个功能变体所需的最小事件数，用于展示具有统计意义的结果。 样本大小越大，试验结果的统计意义就越大。
请考虑以下示例：你想要了解你的电子商务网站的客户在哪种情况下更有可能单击结帐按钮：按钮为黄色（变体 A）还是蓝色（变体 B）时。 若要设置此比较，可能需要划分功能标志的两个变体之间的流量，并使用单击次数作为指标来度量其表现。 不太可能所有功能的度量和即时评估都一样简单，这就是试验发挥作用的地方。 运行试验涉及为此过程设置时间线，比较与你感兴趣的指标相关的每个变体的表现。 术语“A/B 测试”和“试验”通常可互换使用，其中试验本质上是一种扩展的 A/B 测试，你可以在该过程中系统地测试假设。
设置试验
在开始之前，请在假设发现阶段考虑以下问题：你尝试通过运行试验来回答哪些问题？ 你应针对什么运行试验？ 为什么？ 你从哪里开始？ 根据你的业务需求，有哪些要遵循的策略？ 此试验是否可帮助你立即改进你的应用程序或业务的表现？
在完整发布之前，确定你希望通过运行试验来实现的目标，你应在此阶段记录你的计划。 你要针对其进行试验的特性或功能有哪些变体？ 你感兴趣的指标有哪些？ 可以使用哪些用户或系统交互事件来捕获数据以推动这些指标的度量？
你为试验收集的数据有多好，你的试验就有多好。 在开始试验之前，必须确定要用作对照组的变体（基线变体）以及预期看到变化的变体（对比变体）。
从试验中得出结论
得出结论（或多个结论，如果需要）是试验周期的最后阶段。 可以检查试验结果，它展示了对比变体与控制变体相比的结果和影响。 结果还会展示它们的统计意义。 Statsig 度量值确实取决于遥测数据和样本大小。
这些结果可帮助你将学习成果和结果总结为可操作的项，你可以将它们立即实现到生产环境中。 但是，试验是一个连续的过程。 开始新的试验，不断改进产品。
使用试验的方案
版本防御
目标：确保平稳过渡，并在每个版本中保持或改进关键指标。
方法：采用试验逐步推出新功能，监视性能指标，并收集反馈以进行迭代改进。
好处：
- 通过使用防护措施指标在推出初期发现和解决问题，尽量降低普遍问题的风险。
- 通过根据实时数据做出明智的决策，帮助维护或改进关键性能和用户满意度指标。
测试假设
目标：验证假说和假设，以做出有关产品功能、用户行为或业务策略的明智决策。
方法：通过创建不同的功能版本或方案，使用试验测试特定假设，然后分析用户交互和性能指标，以确定结果。
好处：
- 提供基于证据的见解，以减少不确定性并指导战略决策。
- 通过利用真实用户数据确认或驳斥假设，实现更快的迭代和创新。
- 通过专注于经证实可正常工作的想法来增强产品开发，最终产生更加成功且可满足用户需求的功能。
A/B 测试
目标：通过比较不同的 UX 变体和确定最有效的设计来优化业务指标。
方法：使用具有不同用户体验的试验进行 A/B 测试、衡量用户交互和分析性能指标。
好处：
- 通过基于经验证据实现 UX 更改来改进用户体验。
- 提高数字产品或服务的转换率、参与度和整体有效性。
对于智能应用程序（例如基于 AI 的功能）
目标：通过快速试验加速生成式 AI (Gen AI) 的采用并优化 AI 模型和用例。
方法：使用试验快速迭代 AI 模型，测试不同的方案，并确定有效的方法。
好处：
- 提高 AI 解决方案适应不断变化的用户需求和市场趋势的敏捷性。
- 有助于了解用于缩放 AI 计划的最有效方法。
- 根据实际数据和反馈提高 AI 模型的准确性和性能。
个性化和目标试验
目标：提供专门根据用户首选项和行为定制的个性化内容和体验。
方法：利用试验来测试个性化内容、衡量参与度并迭代个性化策略。
好处：
- 通过相关的个性化体验，提高用户参与度、转换率和客户忠诚度。
- 通过定制消息和优惠定位受众，促进收入增长和提高客户留住率。
性能优化试验
目标：通过性能优化试验，提高应用程序性能和改善用户体验。
方法：进行试验以测试性能增强功能、衡量关键指标并实施成功的优化。
好处：
- 通过主动性能改进，增强应用程序的可伸缩性、可靠性和响应能力。
- 通过实施高效优化，提高资源利用率和降低基础结构成本。