您可以通过 A/B 测试设置来衡量和对比不同素材组的效果。例如,您可以分配一部分现有预算,用以确定素材组 B 的新概念或主题是否比素材组 A 更高效。
不建议使用 A/B 测试来对比不同素材格式的效果,例如图片和视频。鉴于广告版位因素材格式而异,因此事后很难排除是广告版位导致效果差异,而不是素材格式。
设置素材 A/B 测试
重要提示:对于 iOS Campaign,务必检查概率归因是否启用。对于仅在无法归因流量或仅可归因于 SKAdNetwork 流量上运行的 Campaign,素材 A/B 测试不可用。
您可以使用这些 Campaign 的广告组,为单个 Campaign 设置 A/B 测试。请按照下方步骤进行 A/B 测试设置。
-
从左上角的下拉菜单中选择子账户。
-
从左侧边栏中选择 App。
-
在 Campaigns 下的 Campaign 列表中,点击 Campaign 标题。
-
向下滚动到 A/B Test groups。您可以看到目前已创建的 A/B 测试。
-
点击 Create。您将转至 New A/B Test,可在其中配置新 A/B 测试设置。
-
输入 A/B 测试标题。Description 为选填字段。
-
在 Variable 部分,从下拉菜单中选择素材组。
-
在 Test Groups 下,选择广告组作为对照组。您还可以看到广告组中用于 A/B 测试的素材组列表。
重要提示:对照组分配完成后,无法更改对照组的素材组。
-
选择一个或多个广告组和素材组作为测试组。您可以使用 + Add Test Group 按钮来添加测试组,不超过五个。Target 将在对照组与测试组之间随机划分,避免出现重叠。在设置 A/B 测试之前,请确保您已创建用于测试的广告组。要了解如何创建广告组,请参阅广告组设置。
- 为 A/B 测试设置预算、关键指标和起止日期。
功能 说明 测试预算 输入分配给 A/B 测试的 Campaign 的预算百分比。您最多可以分配 100% 的 Campaign 预算。测试预算将在对照组和测试组之间平均分配。 如果一周内每一天的预算设置为不同的值,则将根据分配至周内每一天的每日预算对 A/B 测试的每日预算进行调整。
关键指标 为 A/B 测试选择要追踪的指标。您可以在 CPA、CPI 和 CPC 中进行选择。请注意,CPA 仅可用于应用内事件优化 Campaign,且用于衡量广告组效果的事件与 Campaign 的优化目标事件一致。 起止日期 指定 A/B 测试的开始日期和结束日期。时区与子账户的时区相同。您可以随时更改结束日期。A/B 测试必须运行至少 24 小时,但不能超过 30 天。 - 点击 Create 即可启动 A/B 测试。请注意,A/B 测试启动后,不能更改素材组或所分配的测试预算。A/B 测试无法在完成后重新启动,若要再次测试相同的素材,必须设置新的 A/B 测试。您可以将 A/B 测试的结束日期延长到开始日期之后的第 30 天,以收集更多数据。
素材 A/B 测试状态和结果
重要提示:对于 iOS Campaign,您只能根据 MMP 归因数据检查 A/B 测试结果。基于 SKAN 归因数据的结果暂不可用。
在 A/B Test groups 下,您可以看到目前已创建的 A/B 测试状态,并查看已完成的 A/B 测试结果。按照以下步骤查看目前已创建的 A/B 测试列表和 A/B 测试结果。
-
从左上角的下拉菜单中选择子账户。
-
从左侧边栏中选择 App。
-
在 Campaigns 下的 Campaign 列表中,点击 Campaign 标题。
-
向下滚动到 A/B Test groups。您可以看到目前已创建的 A/B 测试。
- 点击所选择的 A/B 测试旁边的
,以查看测试中使用的素材组信息。
- 要查看 A/B 测试的结果,请点击所选择的 A/B 测试标题。您将转至相关页面,可在其中找到关于 A/B 测试及其结果的全部详细信息。
在 Test Result 下,您可以找到结果具有统计学意义的最佳测试组,以及效果优于对照组的测试组。
:结果具有统计学意义的最佳测试组
Moloco 还会根据当时的可用信息提供运行 A/B 测试的建议。由于结果可能因不同的关键指标而异,建议您根据所有可用指标对结果进行全面分析。:效果优于对照组的测试组
建议 说明 我们需要更多数据 建议长时间运行 A/B 测试,以充分收集分析数据。 已找到效果更佳的测试组 已找到最佳测试组,无需运行其他测试。仅当置信水平超过 75% 时,才能确定效果最佳的测试组。 没有显著差异 我们确定有一个或多个测试组的效果优于对照组,但由于置信水平低于 75%,因此并未呈现具有统计学意义的显著性效果差异。 - 支出
- 展示
- 点击
- 安装
- 操作
- CTR
- IPM
- CPC
- CPI
- CPA