A/B 테스트를 설정하여 다양한 소재그룹의 퍼포먼스를 측정하고 비교할 수 있습니다. 예를 들어, 기존 예산의 일부를 할당하여 B 소재그룹의 새로운 개념이나 테마가 A 소재그룹보다 효율적인지 확인할 수 있습니다.

A/B 테스트는 이미지나 비디오와 같이 서로 다른 소재 형식의 퍼포먼스를 비교하는 목적으로는 권장되지 않습니다. 소재 형식에 따라 게재지면이 다르다는 점을 감안하면 소재 형식이 아닌 게재지면의 차이로 인해 퍼포먼스가 달라졌을 가능성을 배제하기 어렵기 때문입니다.

소재 A/B 테스트 설정하기 

이 경우 해당 캠페인의 광고그룹을 통해 개별 캠페인에 대한 A/B 테스트를 설정할 수 있습니다. A/B 테스트를 설정하려면 다음과 같이 합니다.

1. 왼쪽 상단 드롭다운 메뉴에서 광고 어카운트를 선택합니다.

2. 왼쪽 사이드바에서 앱을 선택합니다.

3. Campaigns에 있는 캠페인 목록에서 캠페인 이름을 클릭합니다.

4. 아래로 스크롤하여 A/B Test groups를 찾습니다. 여기에서 지금까지 작성된 A/B 테스트 목록을 볼 수 있습니다. 

5. Create를 클릭합니다. 이제 New A/B Test 메뉴에서 새 A/B 테스트를 설정할 수 있습니다.

6. A/B 테스트 이름을 입력합니다. Description은 선택 항목입니다. 

7. Variable 옵션에서는 드롭다운 메뉴에서 Creative Group을 선택합니다.

8. Test Groups에서 통제집단으로 지정할 광고그룹을 선택합니다. A/B 테스트에 사용할 광고그룹의 소재그룹 목록도 확인할 수 있습니다.

   중요: 통제집단을 지정한 후에는 통제집단의 소재그룹을 변경할 수 없습니다.

9. 하나 또는 여러 개의 광고그룹 및 소재그룹을 실험집단으로 선택합니다. + Add Test Group 버튼을 사용하여 실험집단을 최대 5개까지 추가할 수 있습니다. 중복을 방지하기 위해 타겟은 통제집단과 실험집단 사이에 무작위로 나누어 집니다. A/B 테스트를 설정하기 전에 테스트할 광고그룹을 생성했는지 확인하기 바랍니다. 광고그룹을 만드는 방법은 광고그룹 설정하기를 참조하세요.

10. A/B 테스트의 예산, 주요 지표 및 일정을 설정합니다.

    기능	설명
    Test budget	A/B 테스트에 할당할 캠페인의 예산 비율을 입력합니다. 캠페인 예산의 100%까지 할당할 수 있습니다. 테스트 예산은 통제집단과 실험집단 사이에 균등하게 배분됩니다. 요일별로 일별 예산이 다르게 책정된 경우, 일별 A/B 테스트 예산도 요일별로 배정된 일별 예산에 따라 조정됩니다.
    Key metric	A/B 테스트를 위해 추적할 지표를 선택합니다. CPA, CPI, CPC 중에서 선택할 수 있습니다. CPA는 인앱 이벤트 최적화 캠페인에만 사용할 수 있으며 광고그룹 퍼포먼스 측정에 사용되는 이벤트는 캠페인의 최적화 타겟 이벤트와 동일합니다.
    Schedule	A/B 테스트의 시작 날짜와 종료 날짜를 지정합니다. 시간대는 광고 어카운트 시간대와 동일합니다. 종료 날짜는 언제든지 변경할 수 있습니다. A/B 테스트는 최소 24시간 동안 실행해야 하지만 30일을 초과해서는 안 됩니다.

11. Create를 클릭하여 A/B 테스트를 시작합니다. A/B 테스트가 활성화된 후에는 소재그룹 및 할당된 테스트 예산을 변경할 수 없습니다. A/B 테스트는 완료된 후 재활성화할 수 없으며 동일한 소재를 다시 테스트하려면 새 A/B 테스트를 설정해야 합니다. 언제든지 A/B 테스트 종료일을 시작일로부터 최대 30일까지 연장하여 데이터를 더 많이 수집할 수 있습니다. 

소재 A/B 테스트 상태 및 결과 

A/B Test groups에서 지금까지 생성된 A/B 테스트의 상태와 완료된 A/B 테스트의 결과를 확인할 수 있습니다. 지금까지 생성된 A/B 테스트 목록과 A/B 테스트 결과를 보려면 다음 단계를 따릅니다.

1. 왼쪽 상단 드롭다운 메뉴에서 광고 어카운트를 선택합니다.

2. 왼쪽 사이드바에서 앱을 선택합니다.

3. Campaigns에 있는 캠페인 목록에서 캠페인 이름을 클릭합니다.

4. 아래로 스크롤하여 A/B Test groups를 찾습니다. 여기에서 지금까지 작성된 A/B 테스트 목록을 볼 수 있습니다.

5. A/B 테스트 옆에 있는 버튼을 클릭하여 테스트에 사용된 소재그룹에 대한 정보를 확인합니다.
6. A/B 테스트 결과를 보려면 원하는 A/B 테스트의 이름을 클릭합니다. A/B 테스트의 모든 세부 정보와 결과를 확인할 수 있는 페이지로 이동합니다. Test Result에서 통계적으로 의미가 있는 결과가 나타난 퍼포먼스가 가장 우수한 실험집단과 통제집단보다 퍼포먼스가 우수한 실험집단을 확인할 수 있습니다.  

   : 통계적으로 의미가 있는 결과를 보인 퍼포먼스가 가장 우수한 실험집단

   : 통제집단보다 퍼포먼스가 우수한 실험집단

   몰로코는 또한 해당 시점에서 이용 가능한 정보를 기반으로 A/B 테스트 실행과 관련한 제안을 제시합니다. 주요 지표에 따라 결과가 다를 수 있으므로 사용 가능한 모든 지표를 기반으로 포괄적인 결과 분석을 실행하는 것이 좋습니다.

   제안	설명
   We need more data	분석에 필요한 데이터를 충분히 수집할 수 있도록 A/B 테스트 기간을 늘리는 것이 좋습니다.
   We've found a better performing test group	퍼포먼스가 가장 우수한 실험집단을 식별하였으며 테스트를 더 실행할 필요가 없습니다. 퍼포먼스가 가장 우수한 실험집단은 신뢰 수준이 75%를 초과하는 경우에만 식별됩니다.
   There is no significant difference	통제집단보다 퍼포먼스가 우수한 실험집단을 하나 이상 식별했지만 신뢰 수준이 75% 미만이기 때문에 퍼포먼스 차이가 통계적으로 유의미하지 않습니다.

   왼쪽 상단의 드롭다운 메뉴를 사용하여 통제집단 및 실험집단에 대해 다음과 같은 지표를 비교할 수 있습니다.
   • Spend
   • Impression
   • Click
   • Install
   • Action
   • CTR
   • IPM
   • CPC
   • CPI
   • CPA