Dynamics 365 Customer Insights - Journeys 中的 A/B 测试

Customer Insights - Journeys 中的实时市场营销使用功能强大的 A/B 测试来检查基于触发器的客户旅程,从而使您能够深入了解如何最好地与客户联系。

使用 A/B 测试,可以衡量哪些渠道或内容消息传递策略可带来更大的成功。 每个测试都将一个用户控制组(版本 A)与一个差异(版本 B)进行比较。 控制组接收默认体验。 差异组接收不同的体验或消息。 通过比较各组的结果,可以确定哪个组最有效。

示例 1:为基于触发器的旅程创建 A/B 测试

假设您想要在基于触发器的旅程中测试两封不同的电子邮件,当有人完成购买时,将激活该旅程。

  1. 照常在电子邮件编辑器中创建初始内容。 完善内容,并确保检查错误,以确保它可以上线。

  2. 当您的内容准备就绪后,请转到Customer Insights - Journeys>交互>旅程,选择一个现有旅程或创建一个新旅程。

  3. 在选择旅程后,选择加号 (+) 以添加元素,然后执行以下操作:

    • 选择测试哪种差异效果最好
    • 选择您要测试的渠道。 在此示例中,您需要测试两封电子邮件:选择一封邮件用作版本 A,选择另一封邮件用作版本 B,然后选择创建测试
  4. 当您选择 A/B 测试磁贴时,侧窗格将打开。

    A/B 测试侧面板。

    该窗格包含以下参数:

    • 显示名称:要标识您的测试,请输入测试名称。 当您查看正在运行哪些测试时,此名称会显示在 A/B 测试面板和客户旅程分析中。
    • 版本:为您在第一步中准备的渠道选择相应内容(在本例中,即您要测试的两封电子邮件)。 您可以通过在旅程生成器中选择子磁贴,或在侧面板中进行选择,通过下拉列表执行此操作。
    • 初始访问群体:这是在获取结果之前,您需要从 A/B 测试中保留下来的访问群体组。 此选项仅适用于基于客户细分的旅程,因为您已获得客户总数,这可帮助您决定要保留的数量。 基于触发器的旅程没有此选项,因为客户将在完成操作时进入。 因此,进入行程的客户总数未知。
    • 试用分发:选择所需的访问群体分发。 滑块自动在 50-50 上,但您可以将滑块设置为所需的分发。 版本可以接收的最小值是 10%,最大值是 90%。 请记住,从传统方式说,版本 A 是您的控制组,而版本 B 是您的变体。
    • 获胜指标:可以通过选择获胜指标来为测试设置获胜条件:事件达到旅程目标最多、单击次数最多或打开次数最多的版本。 对于这种情况,您需要增加打开率,因此您将选择打开率选项。
    • 此测试结束:您还可以在自动结束测试或在特定日期和时间结束测试之间进行选择。 当结果达到统计意义时,让测试自动确定获胜者。 这意味着一旦确定了明确的获胜者,系统就会将获胜版本发送给您的其他受众。 失败的版本将被放弃。 如果您选择统计意义作为结束 A/B 测试的选项,但在 30 天后没有明确的获胜者,则系统会自动发送默认版本。
    • 默认版本:最后,如果测试没有成功完成,请选择默认版本。 如果通过日期和时间指定的截止日期前尚未确定获胜者,将会自动发送默认版本。
  5. 当您配置所有内容并且准备发布旅程时,A/B 测试看上去类似如下:

    A/B 测试侧面板已配置为可供进行旅程创建

示例 2:为基于触发器的客户细分创建 A/B 测试

假设您要创建一个旅程,用于欢迎本月中加入会员计划的新成员。 您需要通过测试两个不同的主题行来增加打开率。

您将完成第一个示例中概述的步骤一到三,但您需要注意,侧面板看上去不同。 这是因为在基于客户细分的旅程中,您已获得要开始使用的客户总数;这样您可以创建两种类型的 A/B 测试。

  1. 没有控制组的 A/B 测试:此 A/B 测试的行为与基于触发器的旅程类似,客户将在到来后逐步通过测试,直到确定一个获胜者。

    没有控制组的 A/B 测试

  2. 具有控制组的 A/B 测试:这样,您可以准确地告知系统,您要对多少客户进行测试。 例如,您的客户细分有 100 个会员,您想要首先对 20% 的会员(即 20 个会员)进行测试,此情况下每个版本将分别收到 10 个成员。 进行 A/B 测试之后,其余 80 个会员将收到获胜版本。 您始终可以根据自己的喜好,来调整初始访问群体和分发。

    有控制组的 A/B 测试

对此示例,我们将进行没有控制组的 A/B 测试。 所有其他设置均与示例一中的设置相同。

监视 A/B 测试的生命周期

在发布您的旅程之后,您可以打开它来跟踪测试的生命周期。

  • 草稿:这些测试尚未运行,因此您仍可编辑设置。
  • 进行中:这些是当前正在运行的测试。 设置将锁定,而且您无法进行重大更改。
  • 已停止:这些测试已停止,并且营销人员可以选择发送哪个版本。
  • 已结束:这些测试通过以下操作来完成:查找具有统计意义的获胜者,或者超时(超时操作计划在所设置日期和时间结束)。 已结束的测试无法重复使用。

了解结果

目标分析屏幕截图。

有三种可能的 A/B 测试结果:

  • 测试以明确的获胜者结束:测试得出的结论是,一个版本的性能要优于另一个版本。 获胜版本带有“获胜者”徽章,并分发给完成旅程的任何新客户。
  • 测试无结论:测试得出的结论是,接收者与版本 A 交互的可能性和与版本 B 交互的可能性一样。在这种情况下,默认版本会发送给完成旅程的任何新客户。
  • 测试已停止:这意味着在测试结束之前,您或您的一个同事已停止测试。 在这种情况下,您或您的同事指定的版本将发送给完成旅程的任何新客户。

常见问题

  1. 能否使用两个以上的版本进行 A/B 测试?
    • 目前不能。
  2. 为何我看不到基于客户细分的旅程的控制组选项?
    • 如果您放置属性分支或将更改客户细分总数的任何磁贴,则控制组选项会消失,因为在测试完成之前,系统不知道要保留的客户数量。
  3. 为什么我的测试意外结束?
    • 如果您选择使用统计意义结束测试,则系统会尝试从您发布旅程起的前 30 天内获取获胜者。 如果没有版本声明为获胜者,则测试将结束,并且将向其余的访问群体发送默认版本。