设计并运行电子邮件设计的 A/B 测试

项目
01/30/2024

重要提示

本文仅适用于出站营销，此功能将于 2025 年 6 月 30 日从产品中删除。 为了避免中断，在此日期之前过渡到实时旅程。更多信息：过渡概述

使用电子邮件 A/B 测试找出两个类似设计中哪一个可能最成功，然后自动将获胜设计发送给其余受众。首先创建一个控制设计（“A”版本），然后使用它作为创建“B”版本设计的基础，在后一个版本中您修改了它的一小部分（如主题或图像）。最后，在客户旅程中运行测试。

旅程自动运行整个测试。它首先将版本 A 发送到您的细分的一小部分（例如，10% 的联系人，随机选择），同时还将版本 B 发送到细分的另一部分（通常也是 10%）。在您选择时它会等待一段时间（例如，24 小时），然后分析交互结果并根据您选择的标准（如大多数打开）选择获胜者。然后，旅程将自动将获胜设计发送给细分的其余部分（其余 80%）。

为 A/B 测试创建市场营销电子邮件

要设置 A/B 测试，首先要创建控制设计（这将是 A 版本），然后创建 B 版本，其中只更改一小部分设计。每个 A/B 测试仅允许进行一种类型的更改（例如标题、正文或完整内容）。

备注

对于同一设计，只能定义一个新的 A/B 测试。在创建新测试之前，必须等待 A/B 测试执行完毕。

要为邮件设置 A 和 B 设计：

像往常一样创建（控制版）设计，如创建新电子邮件并设计其内容中所述。尽可能完善设计，并确保检查错误，以确保它可以上线。
A 设计完成后，执行以下操作之一：
- 选择电子邮件编辑器右上角中的 A/B 测试按钮以打开 A/B 测试面板。
- 如果尚未对此电子邮件定义任何测试，请选择 A/B 测试面板中的添加测试按钮。
- 如果您已经定义了测试，则可以通过在版本 A 和 B 之间切换来修改版本 A 和 B。
系统会显示新测试的参数。请执行以下操作：
- 将测试类型设置为以下项之一：- 标题（主题、电子邮件发件人）：允许您为设计的 B 版本选择其他主题或其他“发件人”姓名。收件人会将“发件人”姓名视为邮件发件人的姓名。这不会改变实际的“发件人”地址，发件人地址在这两个版本中保持不变。- 正文：用于选择电子邮件正文中的一个或多个设计元素，然后在 B 版本的设计中更改这些元素的设置、内容或外观。- 完整内容：用于选择其他主题、“发件人”姓名、电子邮件正文中的一个或多个设计元素，然后在 B 版本的设计中更改这些元素的设置、内容或外观。
- 输入测试标题以标识测试。当您选择要为该旅程运行的测试时，此标题将显示在 A/B 测试面板中和客户旅程电子邮件磁贴中。
重要提示

一次只能对消息定义一个新的 A/B 测试。只有在执行上一个测试后才能添加新测试。

备注

您可以在一个旅程中在一个电子邮件磁贴上将每个测试只运行一次。一旦您配置旅程以运行测试，您将无法为任何其他电子邮件磁贴或旅程选择该测试。如果您想要对单项设计运行多项测试，则在执行前一项测试后，再向 A/B 测试面板添加新测试。若要从消息中删除 A/B 测试，请选择垃圾箱按钮。
现在，A/B 测试面板的新建部分中已添加了所选类型的新测试。请注意以下事项：
- 在任何给定时间，您只能启动并主动运行一项新测试。
- A/B 测试面板的可用部分显示了当前运行的 A/B 测试，以及该消息的所有过去的 A/B 测试。
- 从 A/B 测试面板中选择一个测试以使用该测试。如果选择测试，将扩展该测试以显示版本 A 和版本 B 按钮来处理该测试。
- 您可以更改测试的类型或标题。当您选择要为该旅程运行的测试时，此测试标题将显示在客户旅程电子邮件磁贴中。
- 对于标题测试，由所选测试（主题和“发件人”名称）控制的参数显示一个 A 图标或一个 B 图标，指示您正在测试的内容以及显示的版本（可编辑）。图标将更改以与您选择的版本按钮匹配（版本 A 或版本 B）。
- 对于正文测试，正在测试的每个元素在其周围显示一个彩色框（选中时），其与您选择的版本按钮的颜色相匹配（蓝色表示版本 A，粉红色表示版本 B）。有关如何进行此设置的详细信息，请参见下一步。
从 A/B 测试面板中选择一个测试，然后选择版本 B 按钮。根据您正在进行的测试类型，执行以下操作之一：
- 对于标题测试，主题和收件人姓名字段现在应该会显示 B 图标。在此处输入新主题或在此处输入“发件人”姓名。
- 对于正文测试，通过在区域上选择测试以突出显示来向测试添加元素，然后选择位于突出显示框顶部的选项卡中的 A/B 按钮。这是一个切换按钮，因此您可以再次选择它以从测试中删除元素 - 它为未测试元素显示白色背景，为每个版本都一样的元素显示深蓝色背景。对于测试的元素，框颜色指示版本：浅蓝色表示版本 A，深粉红色表示版本 B。可根据需要向测试添加任意数量的元素，但是通常最好一次仅测试少量元素（或一个元素）。
现在更改已启用测试的项目的设计。对于标题测试，请编辑相应的字段文本；对于正文测试，您可以编辑文本元素的文本内容或其他类型的设计元素的属性选项卡设置。您可以使用版本 A 和版本 B 按钮在版本之间来回切换，并在显示时继续编辑每个版本。

备注

即使您启用了 A/B 测试，您仍然可以编辑不属于任何测试的消息的一部分。对于此操作，无论当前选择哪个测试和版本按钮，您的编辑都将影响所有版本（A 版本和所有 B 版本）。但是，如果您编辑了一个启用了测试的设置，那么您只是在编辑使用版本 A 和版本 B 按钮选择的版本。请记住，A 版本对于所有测试都是相同的，但 B 版本对于每个测试都是唯一的。

将新设计元素添加到已设置了正文测试的消息时要小心。执行此操作后，请始终确保使用每个测试的每个版本的正确内容和设置完全定义新元素。
完成设计和测试和新 A/B 测试的设置后，选择上线使您的消息可用于客户旅程。

准备从客户的旅程中执行您的测试

当准备好测试电子邮件时，请使用客户旅程发送电子邮件。您可以在任何类型的旅程中包含 A/B 测试电子邮件，无论其复杂程度如何，包括您在制作市场活动中使用的旅程。策略是将每个设计发送到旅程所针对的整个细分的一小部分，等待这些收件人如何对每个版本的邮件作出响应，然后将表现最好的邮件发送给该细分的其余部分。您可以选择获胜条件（大多数点击或大多数打开），以及运行测试的时间。

重要提示

为了产生可靠的测试结果，您应该始终将每个版本（A 和 B）发送给至少 100 个收件人，然后才允许系统选择获胜版本。典型的推荐设置将使用 1,000 个成员的细分（或更大），测试分发时将版本 A 发送给细分的 10%，版本 B 发送给另外 10%，然后将获胜的设计发送给其余的 80%。

对于每个版本，可以使用少至一个或几个收件人来运行 A/B 测试，但这通常会导致不均匀或非随机的版本分发，产生不可靠的最终结果。我们建议您仅在尝试使用该功能时执行此操作。

要的旅程中添加 A/B 测试：

像往常一样设置您的旅程，并确保包含一个或多个电子邮件磁贴，您可以在其中放置 A/B 测试电子邮件。
选择旅程管道中要包含的电子邮件磁贴，然后打开侧面板中的属性选项卡开始配置磁贴。
在属性面板上的市场营销电子邮件字段中，选择您为 A/B 测试设置的电子邮件。请注意，为消息设计了 A/B 测试后，磁贴会在其角落显示 A 和 B 图标。现在这些图标显示为灰色，因为您还没有为此磁贴设置测试（启用测试后它们将变为蓝色）。
在属性面板中向下滚动，直到看到 A/B 测试开关，然后选择它以打开测试。这将打开 A/B 测试设置。

备注

如果您选择具有 A 和 B 设计但未对磁贴启用 A/B 测试的电子邮件，则会将版本 A 发送给所有收件人。
进行以下设置来设置测试：
- 选择 A/B 测试：您选择的电子邮件设计必须至少有一个尚未使用的测试设置，但可能还有更多。选择要对此磁贴运行的测试的名称。您一次最多只能运行一个测试。
- A/B 分发：设置滑块以选择您要在测试中包含的联系人数（占目标细分中联系人总数的百分比）。一半的测试受众将收到版本 A，另一半将收到版本 B。所有测试联系人和每个接收的版本都是随机选择的。
- 获胜指标：选择是根据点击率（收件人点击邮件中的链接的频率）还是打开率（收件人打开邮件的频率）决定获胜设计。在每种情况下，获胜者都是产生的点击次数或打开次数占该版本发送总次数的比例最多的那个版本。
- 测试持续时间：使用这些设置确定测试应运行的时间。为了获得最佳效果，我们建议每个测试至少运行 24 小时或更长时间（如果可能）—特别是如果您的目标是全球受众（以补偿时区时差）。在这段时间结束时，系统将分析结果并将获胜设计发送给细分中的其余联系人。收到“失败”设计的联系人将不会再次收到获胜设计。
- 如果结果不确定，请发送：选择如果测试没有产生明显的获胜者时该怎么做。在这种情况下，您可以选择将版本 A、版本 B 或两个版本的随机 50/50 分割发送给所有其余联系人。
备注

使用无效假设选择了获胜者。对于至少有 1,000 个联系人的大型集，获胜变体的可信度级别至少需要为 95%。在较小的集中，可信度级别可以低至 80%。如果变体的联系人数相差相对较少，则测试结果可能会被视为不确定。

换句话说，A/B 测试的获胜者不会自动是具有更多联系人的变体。相反，获胜者是显示具有统计意义的结果的变体。
像往常一样完成旅程设置并上线。

监视 A/B 测试的生命周期

为给定电子邮件定义的每个测试只能运行一次。一旦测试开始由客户旅程处理或已经处理，您将无法再在任何其他客户旅程中使用它。因此，您有时可能会尝试在客户旅程中为电子邮件磁贴设置 A/B 测试，但会惊讶于您无法选择要运行的测试。在这种情况下，您可以添加另一个测试。

要查看电子邮件中定义的每个 A/B 测试的运行状态，请打开该邮件并展开 A/B 测试面板。可用于该消息的每个测试都会在以下标题中的一个下面列出。每个标题中包含一个展开/折叠按钮，用于在每个类别中显示或隐藏测试。

草稿：这些测试尚未运行，因此您仍可以在为客户旅程配置电子邮件磁贴时编辑其设置并选择它们。
已安排：这些测试是客户旅程已设置为要运行，但该旅程尚未启动的测试。他们的设置已锁定，您无法在任何其他客户旅程中运行它们。
进行中：这些是当前正在运行的测试。他们的设置已锁定，您无法在任何其他客户旅程中运行它们。
已完成：这些测试是已完成，不可再次使用的测试。要查看结果，请转到您运行测试的客户旅程。

A/B 测试运行状态显示。

检查您的测试结果

您可以通过检查客户旅程的电子邮件磁贴随时查看 A/B 测试的进度和结果。要执行此操作：

打开客户旅程。
选择运行 A/B 测试的电子邮件磁贴。
向下滚动到所选电子邮件磁贴的数据面板的底部。在这里，您将看到一个显示，显示测试的名称、您向其发送每个版本的联系人百分比（包括获胜版本）、测试剩余的时间，以及哪个设计被宣布为获胜者（如果测试已经完成）。
在此处选择查看详细信息链接以获取有关测试结果的更多信息。这将打开一个对话框，显示测试中每个设计的 KPI。有关电子邮件 KPI 以及如何解释它们的详细信息，请参阅见解术语表。