A/B 테스트를 설정하여 다양한 소재그룹 또는 타겟의 퍼포먼스를 측정하고 비교할 수 있습니다. 예를 들어, 기존 예산의 일부를 할당해서 소재그룹 B의 새로운 컨셉이나 테마가 소재그룹 A보다 더 효율적인지 확인할 수 있습니다.

A/B 테스트는 서로 다른 소재 형식(예: 이미지, 비디오)의 퍼포먼스를 비교하는 데에는 권장되지 않습니다. 광고 게재지면이 소재 형식에 따라 달라진다는 점을 고려하면, 소재 형식이 아닌 광고 게재지면이 퍼포먼스 차이를 만들어낸 것일 수도 있다는 가능성을 사후적으로 배제하기는 어렵습니다.

A/B 테스트 설정 

그러한 캠페인의 광고그룹을 사용하여 개별 캠페인에 대한 A/B 테스트를 설정할 수 있습니다. A/B 테스트를 설정하려면 다음 단계를 따르세요.

1. 왼쪽 상단 드롭다운 메뉴에서 광고 어카운트를 선택합니다.

2. 왼쪽 사이드바에서 앱을 선택합니다.

3. Campaigns 아래의 캠페인 목록에서 캠페인 이름을 클릭합니다.

4. 아래로 스크롤하여 A/B Test groups를 찾습니다. 지금까지 생성된 A/B 테스트 목록이 표시됩니다. 

5. Create를 클릭합니다. 이제 New A/B Test 메뉴에서 새 A/B 테스트를 설정할 수 있습니다.

6. A/B 테스트의 이름을 입력합니다. Description은 선택 사항입니다. 

7. Variable의 경우 드롭다운 메뉴에서 Creative Group 또는 Target을 선택합니다.

8. Test Groups에서 광고그룹을 대조 군으로 선택합니다. 선택한 변수에 따라 A/B 테스트에 사용할 광고그룹의 소재그룹 또는 타겟 목록이 표시됩니다.

   중요: 대조 군을 지정한 후에는 대조 군에 할당된 소재그룹이나 타겟을 변경할 수 없습니다.

9. 하나 이상의 광고그룹을 실험 군으로 선택합니다. + Add Test Group 버튼을 사용하여 최대 10개의 실험 군을 추가할 수 있습니다. 각 테스트 그룹에서는 Variable을 Creative Group으로 선택할 경우 해당 테스트 그룹의 상태와 그에 할당된 소재를, Variable을 Target으로 선택할 경우 해당 테스트 그룹의 타겟 설정을 확인할 수 있습니다. 소재그룹을 변수로 선택한 경우 타겟은 중복을 피하기 위해 대조 군과 실험 군 사이에서 무작위로 나뉩니다. 타겟을 변수로 선택한 경우 소재그룹은 대조 군과 실험 군 간에 무작위로 나뉩니다. A/B 테스트를 설정하기 전에 테스트할 광고그룹을 생성했는지 확인하세요. 광고그룹을 생성하는 방법은 광고그룹 설정하기를 참조하세요.

10. A/B 테스트의 예산, 주요 지표, 일정을 설정합니다.

    기능	설명
    Test budget	A/B 테스트에 할당할 캠페인 예산 비율을 입력합니다. 캠페인 예산의 최대 100%까지 할당할 수 있습니다. 테스트 예산은 대조 군과 실험 군 간에 균등하게 분배됩니다. 일일 예산을 요일별로 다르게 설정하면 각 요일에 할당된 일일 예산에 따라 일일 A/B 테스트 예산이 조정됩니다.
    Key metric	A/B 테스트에서 트래킹할 지표를 선택합니다. CPA, CPI, CPC 중에서 선택할 수 있습니다. CPA는 인앱 이벤트 최적화 캠페인에만 사용할 수 있으며, 광고그룹 퍼포먼스를 측정하는 데 사용되는 이벤트는 캠페인의 최적화 타겟 이벤트와 동일합니다.
    Schedule	A/B 테스트의 시작일과 종료일을 지정합니다. 시간대는 광고 어카운트의 시간대와 동일합니다. 종료일은 언제든지 변경할 수 있습니다. A/B 테스트는 최소 24시간 동안 실행해야 하며, 30일을 넘을 수 없습니다.

11. Create를 클릭하여 A/B 테스트를 시작합니다. A/B 테스트가 활성화된 후에는 할당된 소재그룹이나 타겟 및 테스트 예산을 업데이트할 수 없습니다. A/B 테스트는 완료되면 다시 활성화할 수 없으며, 동일한 소재 또는 타겟으로 테스트를 다시 실행하려면 새 A/B 테스트를 설정해야 합니다. 언제든지 A/B 테스트의 종료일을 시작일로부터 최대 30일까지 연장하여 더 많은 데이터를 수집할 수 있습니다. 

A/B 테스트 상태 및 결과 

A/B Test groups에서 지금까지 생성된 A/B 테스트의 상태와 완료된 A/B 테스트의 결과를 확인할 수 있습니다. 지금까지 생성된 A/B 테스트 목록과 A/B 테스트 결과를 확인하려면 다음 단계를 따르세요.

1. 화면 왼쪽 상단의 드롭다운 메뉴에서 광고 어카운트를 선택합니다.

2. 왼쪽 사이드바에서 앱을 선택합니다.

3. Campaigns 아래의 캠페인 목록에서 캠페인을 클릭합니다.

4. 아래로 스크롤하여 A/B Test groups를 찾습니다. 지금까지 생성한 A/B 테스트 목록이 표시됩니다.

5. 선택한 A/B 테스트 옆에 있는 아이콘을 클릭하면 테스트에 사용된 소재그룹 또는 타겟에 대한 결과를 볼 수 있습니다.
6. A/B 테스트의 결과를 보려면 원하는 A/B 테스트의 이름을 클릭합니다. 그러면 A/B 테스트와 해당 결과에 대한 모든 세부 정보를 확인할 수 있는 페이지로 이동합니다. Test Result에서 최고의 퍼포먼스로 유의미한 결과를 보인 실험 군과, 대조 군보다 퍼포먼스가 뛰어난 실험 군이 존재할 경우 이를 확인할 수 있습니다.  

   : 최고의 퍼포먼스로 통계적으로 유의미한 결과를 보인 실험 군

   : 대조 군보다 퍼포먼스가 뛰어난 실험 군

   Overall performance 탭에서는 해당 시점에 사용 가능한 정보를 기반으로 A/B 테스트를 실행하기 위한 제안을 확인할 수 있습니다. 결과는 여러 주요 지표에 따라 달라질 수 있으므로 사용 가능한 모든 지표를 기반으로 종합적인 결과 분석을 수행하는 것이 좋습니다.

   제안	설명
   It's still too early to determine a winning group as no statistically significant results have been achieved.	예정된 기한까지 A/B 테스트를 실행하거나 테스트 기간을 연장하여 분석용 데이터를 충분히 수집하는 것이 좋습니다.
   {{control or test group}} has achieved {[n}}% less {{key metric}} than the {{test or control group}}.	퍼포먼스가 가장 뛰어난 그룹이 식별되었으므로 다른 테스트를 실행할 필요가 없습니다. 신뢰 수준이 75%를 넘는 경우에만 퍼포먼스가 가장 뛰어난 그룹으로 식별됩니다.
   There's no clear performance difference between your test groups.	대조 군보다 퍼포먼스가 뛰어난 그룹을 하나 이상 식별했지만, 신뢰 수준이 75% 미만이므로 퍼포먼스 차이가 통계적으로 유의미하지 않습니다.

   Apply to ad groups를 클릭하면 퍼포먼스가 가장 뛰어난 그룹의 설정을 복사해서 하나 이상의 기존 광고그룹 또는 새로운 광고그룹에 적용할 수 있습니다. 

   Daily breakdown 탭에서는 왼쪽의 드롭다운 메뉴에서 지정할 수 있는 하나의 지표를 기준으로 삼아 대조 군과 실험 군의 일일 퍼포먼스를 비교할 수 있습니다. 선택할 수 있는 지표들은 다음과 같습니다. 각 지표에 대한 자세한 내용은 용어 정의를 참조하세요. 
   • Spend
   • Impression
   • Click
   • Install
   • Engaged View
   • Revenue
   • Action
   • CTR