소재 A/B 테스트 설정하기

  • 업데이트 시간

 

Creative A/B test를 세팅하는 방법에 대해 알아보겠습니다. Creative A/B 테스트는 각 캠페인의 Ad Group 내에 세팅이 가능하며, 하나의 Ad Group에 대해 서로 다른 Creative Group 간의 성과를 비교하기 위해 사용할 수 있습니다.  

예를 들어, Creative A/B 테스트 기능을 사용하면 현재 Ad Group에서 사용중인 A 컨셉의 Creative Group 대비 실험적인 B 컨셉의 Creative Group이 효율이 좋을 지 여부를 기존 예산의 일부만 할당하여 확인할 수 있습니다.

노트: 이미지 vs. 비디오, 비디오 vs. 네이티브와 같이 Creative 포맷 별 1:1 성과 비교를 위해 Creative A/B test를 사용하는 것은 권장하지 않습니다. 포맷이 다르면 노출될 수 있는 지면이 다르기 때문에, 지면에 따른 성과 차이를 포맷의 차이로 오인할 수 있기 때문입니다.

 

Creative A/B 테스트 설정

Creative A/B 테스트는 각 캠페인 안의 Ad Group 아래에서 설정할 수 있습니다.

  1. Home으로 이동하세요.

  2. Creative A/B 테스트를 진행할 Ad Account 를 선택합니다.

  3. 좌측 메뉴에서 App 그리고 Campaign 을 선택합니다. 

  4. 캠페인에 생성되어있는 Ad Groups 목록을 확인합니다.

    • Ad Group 목록 아래에서 A/B Test Groups 섹션을 확인할 수 있습니다.

      MOLOCO_Cloud_2021-07-21_11-55-03.png

  5. Get Started를 클릭하여 Creative A/B 테스트 세팅을 시작합니다.

  6. Get Started를 클릭한 뒤, A/B 테스트의 Name 및 Description(optional) 을 작성하세요.

  7. Variable 옵션에서 Creative Group을 선택합니다. 

  8. 드롭다운 메뉴를 사용하여 Creative를 테스트하고자 하는 Ad Group을 선택하세요. Screen_Shot_2021-07-20_at_1.01.02_PM.png

    중요: 테스트를 시작하기 전, 테스트를 위한 Ad Group을 미리 생성하시기 바랍니다. Ad Group 설정하는 법 알아보기

     

  9. Group A에서 Ad Group을 선택하면, 테스트에 사용될 해당 Ad Group 내의 모든 Creative Group의 목록을 확인할 수 있습니다.
    노트: Control Group (Group A)의 Creative Group은 편집이 불가합니다. 
  10. AB_TEST_SCREENSHOTS_-_Google_Slides_2021-07-21_12-10-51.png
  11. Group B에는 자동으로 Group A 와 동일한 Ad Group이 선택되며, 테스트를 위해 타겟 모수가 랜덤하게 나누어집니다. 이후 아래에 있는 드롭다운 메뉴를 이용하여 Group B에 추가하고자 하는 Creative Group들을 선택하세요. Screen_Shot_2021-07-20_at_1.20.23_PM.pngScreen_Shot_2021-07-20_at_1.23.35_PM.png
  12. 테스트가 활성화되고 나면, Creative Group을 변경할 수 없습니다. 
  13.  Group A (control)와 Group B (test)에 각각 Creative Group들을 설정하고 나면, 테스트를 위한 Budget, Key Metric, 그리고 Schedule을 설정할 수 있습니다.Screen_Shot_2021-07-20_at_1.25.30_PM.png
  14. 기존 캠페인 Budget 중 테스트에 사용하기를 원하는 Budget의 비중을 아래에 입력하세요. 일 예산 기준으로 적용됩니다.
    Screen_Shot_2021-07-20_at_1.29.48_PM.png
    • Control Group과 Test Group 간의 예산 비중은 설정된 Budget Share 내에서 1:1로 고정됩니다. 예를 들어, 전체 일 예산이 $1,000이고 Budget Share를 30%로 설정했을 시, Group A, B의 일 예산은 각각 $150가 됩니다.2021-09-16_screenshot.png
    • A/B 테스트 예산의 비중은 캠페인 예산의 100%까지 설정할 수 있습니다. 
      노트: 만약 각 요일별로 일 예산을 다르게 세팅한 경우, A/B 테스트 예산은 각 요일에 배정된 일 예산에 따라 변동됩니다.  
    • 테스트가 활성화되고 나면 Budget Share를 수정할 수 없습니다.
  15. Key Metric을 선택하세요. Key metric은 테스트 결과 비교를 위해 사용하고자 하는 가장 중요한 지표를 의미합니다. 
    Screen_Shot_2021-07-20_at_1.33.22_PM.png
    • 만약 CPA를 Key Metric으로 선택한다면, A/B 테스트의 성과 측정에 사용될 이벤트는 In app optimization 캠페인의 최적화 목표 이벤트와 동일하게 설정됩니다.
      Screen_Shot_2021-07-20_at_1.33.38_PM.png
      노트: 설치 혹은 클릭 최적화 목표 캠페인에서는 Key Metrics를 CPI 혹은 CPC만 선택할 수 있습니다.
  16. 테스트 기간을 Schedule에 설정하세요. 시작과 종료 시점을 모두 설정해야 합니다. Screen_Shot_2021-07-20_at_5.16.49_PM.png 
    • Timezone은 각 Ad Account의 설정을 따릅니다. 
    • 만약 종료 시점 변경이 필요하다면, 최초 설정한 이후라도 변경이 가능합니다. 
      노트: 최소 24시간, 최대 30일의 기간을 설정할 수 있습니다.
  17. 모든 필드들을 잘 설정했는지 확인하고, Create 버튼을 클릭합니다.
    중요: 테스트가 한 번 완료되고 나면, 해당 테스트를 다시 활성화할 수 없습니다. 다시 한 번 동일한 테스트가 필요하더라도 새로운 A/B 테스트를 다시 설정해야하는 점을 참고해 주세요. 만약 데이터가 충분하지 않다고 판단된다면 테스트의 종료 시점을 연장할 수 있지만 최대 30일까지만 연장이 가능합니다. 

 

iOS 캠페인용 노트:
  • Creative A/B 테스트 기능을 활용하기 위해서는 iOS 캠페인에서 Probabilistic Attribution이 활성화되어 있어야 합니다. 본 기능은  Unattributable 혹은 SKAdNetwork attributable only 트래픽만으로 운영되는 iOS 캠페인에는 사용할 수 없습니다.

 

Creative A/B 테스트 성과 분석

Creative A/B 테스트가 생성되고 나면, 테스트의 상태 및 활성화된 테스트에 대한 자세한 성과를 확인할 수 있습니다. 

  1. Home으로 이동하세요.

  2. Creative A/B 테스트가 설정된 Ad Account를 선택하세요.

  3. 좌측 메뉴에서 App 그리고 Campaign 을 선택합니다.

  4. 캠페인에 생성되어있는 Ad Group 목록을 확인합니다.

    • Ad Group 목록 아래에서 A/B Test Groups 섹션을 확인할 수 있으며, 여기에서 생성된 Creative A/B 테스트들을 확인할 수 있습니다.Screen_Shot_2021-07-20_at_1.54.35_PM.png

  5. 각 A/B 테스트 좌측의 Screen_Shot_2021-07-20_at_1.57.42_PM.png 를 눌러 테스트의 성과 요약을 확인하세요.Screen_Shot_2021-07-20_at_2.03.57_PM.png
  6. 자세한 성과 분석이 필요할 시 분석이 필요한 A/B 테스트의 Title을 클릭하세요. Screen_Shot_2021-07-20_at_2.17.29_PM.png
    그래프 좌상단의 드롭다운 메뉴에서 아래와 같은 Key Metrics들을 선택하여 성과를 비교할 수 있습니다. 
    • Spending
    • Impressions
    • Clicks
    • Installs
    • Actions
    • CTR
    • IPM
    • CPC
    • CPI
    • CPA
  7. 또한 Test Result 아래에서 테스트의 현재 상황을 확인하실 수 있습니다.
    Screen_Shot_2021-07-21_at_5.56.19_PM.png
  • 테스트 기간동안 수집된 데이터의 양에 따라 결과가 달라집니다. Group A와 Group B 중 어떤 Creative Group 이 우수한 지 판단할 수 있는 충분한 데이터가 수집되면 여기에서 결과를 확인할 수 있습니다.
  • 어떤 Creative Group이 우수한 지 판단하기 위해서는 신뢰 수준이 75%를 넘어야 합니다. 만약 테스트의 신뢰 수준이 75% 이하라면 최종 결과는 "There is no significant difference (유의미한 차이를 발견할 수 없음)"와 같이 표기될 것입니다.
  • 선택한 Key Metric에 따라 테스트 결과가 달라질 수 있습니다. (예: CPC는 A Group이 우수, CPA는 B Group이 우수) 따라서 여러 Key Metric을 활용하여 테스트 결과를 분석하기를 권장합니다. 

 

iOS 캠페인용 노트:
  • iOS 캠페인에 대해서는 MMP 어트리뷰션 이벤트를 기반으로만 Creative A/B Test 결과를 확인할 수 있습니다. (SKAN 어트리뷰션을 통한 A/B 테스트 결과는 제공되지 않습니다.)

 

도움이 되었습니까?

1명 중 1명이 도움이 되었다고 했습니다.

또 다른 질문이 있으십니까? 문의 등록

댓글

댓글 0개

이 문서에는 댓글을 달 수 없습니다.