可以通过 A/B 测试设置来衡量和对比不同素材组或 Target 的效果。例如,您可以分配一部分现有预算,用以确定素材组 B 的新概念或主题是否比素材组 A 更高效。
不建议使用 A/B 测试来对比不同素材格式的效果,例如图片和视频。由于广告版位因素材格式而异,因此事后很难确定是广告版位还是素材格式导致效果差异。
设置 A/B 测试
重要提示:对于 iOS Campaign,务必检查概率归因是否启用。对于仅在未归因流量或仅可归因于 SKAdNetwork 流量上运行的 Campaign,A/B 测试不可用。
您可以使用这些 Campaign 的广告组,为单个 Campaign 设置 A/B 测试。请按照下方步骤进行 A/B 测试设置。
-
从左上角的下拉菜单中选择 Ad account。
-
从左侧边栏中选择 App。
-
在 Campaigns 下的 Campaign 列表中,点击 Campaign 标题。
-
向下滚动到 A/B Test groups。您可以看到目前已创建的 A/B 测试。
-
点击 Create。您将转至 New A/B Test,可在其中配置新 A/B 测试设置。
-
输入 A/B 测试标题。Description 为选填字段。
-
对于 Variable,从下拉菜单中选择 Creative Group 或 Target。
-
在 Test Groups 下,选择广告组作为对照组。根据所选的变量,还可以看到广告组中用于 A/B 测试的素材组或 Target 列表。
重要提示:对照组分配完成后,就无法更改分配到对照组的素材组或 Target。
-
选择一个或多个广告组作为测试组。您可以使用 + Add Test Group 按钮来添加测试组,不超过 10 个。对于每个测试组,如果为 Variable 选择 Creative Group,可以看到测试组的状态和分配的素材,如果为 Variable 选择 Target,可以看到测试组的 Target 设置。选择素材组作为变量时,Target 将在对照组与测试组之间随机划分,避免出现重叠。选择 Target 作为变量时,素材组将在对照组与测试组之间随机划分。在设置 A/B 测试之前,请确保您已创建用于测试的广告组。要了解如何创建广告组,请参阅广告组设置。
- 为 A/B 测试设置预算、关键指标和起止日期。
功能 描述 Test budget 输入分配给 A/B 测试的 Campaign 的预算百分比。您最多可以分配 100% 的 Campaign 预算。测试预算将在对照组和测试组之间平均分配。 如果一周内每一天的预算设置为不同的值,则将根据分配至周内每一天的每日预算对 A/B 测试的每日预算进行调整。
Key metric 为 A/B 测试选择要追踪的指标。您可以在 CPA、CPI 和 CPC 中进行选择。请注意,CPA 仅可用于应用内事件优化 Campaign,且用于衡量广告组效果的事件与 Campaign 的优化目标事件一致。 Schedule 指定 A/B 测试的开始日期和结束日期。时区与 Ad account 的时区相同。您可以随时更改结束日期。A/B 测试必须运行至少 24 小时,但不能超过 30 天。 - 点击 Create 即可启动 A/B 测试。请注意,A/B 测试启动后,不能更新分配的素材组或 Target 和测试预算。A/B 测试在完成后无法重新启动,若要使用相同的素材或 Target 重新运行测试,必须设置新的 A/B 测试。您可以将 A/B 测试的结束日期延长到开始日期之后的第 30 天,以收集更多数据。
A/B 测试状态和结果
重要提示:对于 iOS Campaign,您只能根据 MMP 归因数据检查 A/B 测试结果。基于 SKAN 归因数据的结果暂不可用。
在 A/B Test groups 下,您可以看到目前已创建的 A/B 测试状态,并查看已完成的 A/B 测试结果。按照以下步骤查看目前已创建的 A/B 测试列表和 A/B 测试结果。
-
从屏幕左上角的下拉菜单中选择 Ad account。
-
从左侧边栏中选择 App。
-
在 Campaigns 下的 Campaign 列表中,点击 Campaign。
-
向下滚动到 A/B Test groups。您可以看到目前已创建的 A/B 测试。
- 点击所选 A/B 测试旁边的
,查看测试中使用的素材组或 Target 信息。
- 要查看 A/B 测试的结果,请点击所选 A/B 测试的标题。您将转至相关页面,可在其中找到关于 A/B 测试及其结果的全部详细信息。
在 Test Result 下,您可以找到结果具有统计学意义的最佳测试组,以及效果优于对照组的测试组(如有)。
:结果具有统计学意义的最佳测试组
在 Overall performance 选项卡下,Moloco 还会根据当时的可用信息提供运行 A/B 测试的建议。由于结果可能因不同的关键指标而异,建议您根据所有可用指标对结果进行全面分析。:效果优于对照组的测试组
建议 描述 It's still too early to determine a winning group as no statistically significant results have been achieved. 建议一直运行 A/B 测试直至到达计划的截止时间,或将测试时间更新为更长的时间,以充分收集分析数据。 {{control or test group}}
has achieved{[n}}
% less{{key metric}}
than the{{test or control group}}
.已找到最佳测试组,无需运行其他测试。仅当置信水平超过 75% 时,才能确定效果最佳测试组。 There's no clear performance difference between your test groups. 我们确定有一个或多个测试组的效果优于对照组,但由于置信水平低于 75%,因此并未呈现具有统计学意义的效果差异。 点击 Apply to ad groups 即可将最佳测试组的配置复制到一个或多个现有广告组或新的广告组。
在 Daily breakdown 选项卡下,使用左侧的下拉菜单,可以比较测试组和对照组在不同指标方面的每日效果。可以从以下指标中选择。若要详细了解每个指标,请参阅定义。- Spend
- Impression
- Click
- Install
- Engaged View
- Revenue
- Action
- CTR