Dynamics 365 Customer Insights - Journeys 中的 A/B 测试

Customer Insights - Journeys 使用强大的 A/B 测试来检查基于触发器的客户旅程，让您深入了解如何最好地触达客户。

使用 A/B 测试，可以衡量哪些渠道或内容消息传递策略可带来更大的成功。 每个测试都将一个用户控制组（版本 A）与一个差异（版本 B）进行比较。 控制组接收默认体验。 差异组接收不同的体验或消息。 通过比较各组的结果，可以确定哪个组最有效。

A/B 测试需要相当大的受众才能有效。 对少于 1,000 人的受众群体运行测试可能会产生意外结果，例如变体中的分布不均。 在极小的组上运行测试几乎总是会产生不成比例的分布。 例如，如果您的受众只有 10 名成员，则可能会有 1 名成员转到变体 A，而 9 名成员转到变体 B。当受众规模太小以至于统计模型没有足够的数据来达到所需的分布时，这是预期行为。

示例 1：为基于触发器的旅程创建 A/B 测试

想象一下，您想在基于触发器的旅程中测试两封不同的电子邮件，该旅程在某人完成购买时激活。

1. 照常在电子邮件编辑器中创建初始内容。 完善内容并检查是否有错误，以确保它可以上线。
2. 当您的内容准备就绪后，请转到Customer Insights - Journeys>交互>旅程，选择一个现有旅程或创建一个新旅程。
3. 选择旅程后，选择加号 (+) 添加元素，然后按照以下步骤作：
   • 选择测试哪种差异效果最好。

• 选择要测试的渠道。 在此示例中，您需要测试两封电子邮件：选择一封邮件用作版本 A，选择另一封邮件用作版本 B，然后选择创建测试。

1. 当您选择 A/B 测试磁贴时，侧窗格将打开。

   

   该窗格包含以下参数：

• 显示名称：要标识您的测试，请输入测试名称。 当您查看正在运行的测试时，此名称将显示在 A/B 测试面板和客户旅程分析中。
• 版本：为在第一步中准备的渠道（在本例中是要测试的两封电子邮件）选择内容。 您可以通过在旅程生成器中选择子磁贴，或在侧面板中进行选择，通过下拉列表执行此操作。
• 初始访问群体：这是在获得结果之前要在 A/B 测试中阻止的访问群体组。 此选项仅适用于基于客户细分的旅程，因为您已经拥有客户总数，可帮助您决定要保留的客户数量。 基于触发器的旅程没有此选项，因为客户将在完成操作时进入。 因此，进入行程的客户总数未知。
• 试验分布：选择所需的访问群体分布。 滑块自动在 50-50 上，但您可以将滑块设置为所需的分发。 版本可以接收的最小值是 10%，最大值是 90%。 请记住，从传统方式说，版本 A 是您的控制组，而版本 B 是您的变体。
• 获胜指标：通过选择获胜指标来设置测试的获胜条件：旅程目标事件命中次数最多、点击次数最多或打开次数最多的版本。 对于这种情况，您需要增加打开率，因此您将选择打开率选项。
• 此测试结束：选择自动结束测试或在特定日期和时间结束测试。 当结果达到统计显著性时，让测试自动确定获胜者。 这意味着一旦确定了明显的获胜者，系统就会将获胜版本发送给您的其他受众。 失败的版本将被放弃。 如果您选择统计意义作为结束 A/B 测试的选项，但在 30 天后没有明确的获胜者，则系统会自动发送默认版本。 如果提前结束测试，最多可能需要四个小时才能释放对照组。
• 默认版本：最后，如果测试没有成功完成，请选择默认版本。 如果通过日期和时间指定的截止日期未确定获胜者，则会自动发送默认版本。

1. 当您配置所有内容并准备好发布旅程时，A/B 测试应如下所示：

   

示例 2：为基于触发器的客户细分创建 A/B 测试

想象一下，您想创建一个旅程来欢迎本月加入您的忠诚度计划的新成员。 您需要通过测试两个不同的主题行来增加打开率。

您将完成第一个示例中概述的步骤一到三，但您需要注意，侧面板看上去不同。 这是因为在基于客户细分的旅程中，您已获得要开始使用的客户总数；这样您可以创建两种类型的 A/B 测试。

1. 无对照组的 A/B 测试：此 A/B 测试的行为类似于基于触发器的旅程，在此类旅程中，客户在来时会经过测试，直到确定获胜者。

   

2. 有对照组的 A/B 测试：您可以准确地告诉系统要测试多少客户。 例如，如果您的细分有 100 个忠诚度会员，您可以首先对 20% 或 20 个会员进行测试，其中每个版本接收 10 个会员。 经过 A/B 测试后，其余 80 名成员将获得获胜版本。 您始终可以根据自己的喜好，来调整初始访问群体和分发。

   

在此示例中，我们使用有对照组的 A/B 测试。 所有其他设置均与示例一中的设置相同。

监视 A/B 测试的生命周期

在发布您的旅程之后，您可以打开它来跟踪测试的生命周期。

• 草稿：这些测试尚未运行，因此您仍可编辑设置。
• 进行中：这些是当前正在运行的测试。 设置将锁定，而且您无法进行重大更改。
• 已停止：这些测试已停止，营销人员可以选择要发送的版本。
• 已结束：这些测试通过以下操作来完成：查找具有统计意义的获胜者，或者超时（超时操作计划在所设置日期和时间结束）。 已结束的测试无法重复使用。

了解结果

有三种可能的 A/B 测试结果：

• 测试以明确的获胜者结束：测试得出的结论是，一个版本的性能要优于另一个版本。 获胜版本带有“获胜者”徽章，并分发给完成旅程的任何新客户。
• 测试无结论：测试得出的结论是，接收者与版本 A 交互的可能性和与版本 B 交互的可能性一样。在这种情况下，默认版本会发送给完成旅程的任何新客户。
• 测试已停止：这意味着在测试结束之前，您或您的一个同事已停止测试。 在这种情况下，您或您的同事指定的版本将发送给完成旅程的任何新客户。

常见问题

1. 能否使用两个以上的版本进行 A/B 测试？
   • 不，目前不行。
2. 为何我看不到基于客户细分的旅程的控制组选项？
   • 如果您放置更改客户细分总数的属性分支或任何磁贴，对照组选项将消失，因为在测试完成之前，系统不知道要阻止多少客户。
3. 为什么我的测试意外结束？
   • 如果您选择以统计显著性结束测试，系统将尝试在您发布旅程后的前 30 天内获得获胜者。 如果没有版本声明为获胜者，则测试将结束，并且将向其余的访问群体发送默认版本。