소재 A/B 테스트 설정하기

  • 업데이트 시간

소재 A/B 테스트를 세팅하는 방법에 대해 알아보겠습니다. 소재 A/B 테스트는 하나의 광고 그룹 내에서 서로 다른 소재 그룹 간 성과를 비교하기 위해 사용할 수 있습니다.  

예를 들어, 소재 A/B 테스트 기능을 사용하여 현재 광고 그룹에서 사용중인 A 컨셉의 소재 그룹 대비 실험적인 B 컨셉의 소재 그룹이 효율이 좋을 지 여부를 기존 캠페인 예산의 일부만 할당하여 검증할 수 있습니다.

중요: 이미지 vs. 비디오, 비디오 vs. 네이티브와 같이 소재 포맷 별 1:1 성과 비교를 위해 소재 A/B test를 사용하는 것은 권장하지 않습니다. 포맷이 다르면 노출될 수 있는 지면이 다르기 때문에, 지면에 따른 성과 차이를 포맷의 차이로 오인할 수 있기 때문입니다.

 

소재 A/B 테스트 설정

소재 A/B 테스트는 각 캠페인 안의 광고 그룹 목록 아래에서 설정할 수 있습니다.

  1. 좌측 상단 드롭다운에서 소재 A/B 테스트를 진행할 광고 계정을 선택합니다.

  2. 좌측 사이드바 메뉴에서 앱을 선택합니다. 

  3. 우측 메인화면의 캠페인 리스트에서 캠페인을 선택합니다.
  4. 광고 그룹 목록 아래에서 A/B Test Groups 섹션을 확인할 수 있습니다.___________2022-06-09______6.57.18.png
  5. Get Started 버튼을 클릭하여 소재 A/B 테스트 세팅을 시작합니다.

  6. A/B 테스트의 Title 및 Description(optional) 을 작성하세요.

  7. Variable 옵션에서 Creative Group을 선택합니다. 

  8. 드롭다운 메뉴를 사용하여 소재를 테스트하고자 하는 A 광고 그룹을 선택하세요. 이 광고 그룹은 통제집단으로 효율 비교를 위해 사용됩니다. ___________2022-06-10______2.38.40.png

    중요: 테스트를 시작하기 전, 테스트를 위한 광고 그룹을 미리 생성하시기 바랍니다. 광고 그룹 설정하는 법 확인
  9. A - Control Group에서 광고 그룹을 선택하면 테스트에 사용될 해당 광고 그룹내의 모든 소재 그룹의 목록을 아래에서 확인할 수 있습니다.
    노트: A 그룹 아래의 소재 그룹은 자동으로 불러와지며, 편집이 불가합니다. 
  10. B - Test Group은 실험집단으로, 자동으로 A 그룹 와 동일한 광고 그룹이 선택되며, 테스트를 위한 타겟 모수가 중복되지 않도록 랜덤하게 나누어집니다. 이후 아래에 있는 드롭다운 메뉴를 이용하여 B 그룹 아래에 추가하고자 하는 소재 그룹들을 선택하세요.
    노트: 테스트가 활성화되고 나면 소재 그룹을 변경할 수 없습니다.
    ___________2022-06-10______2.41.56.png
  11.  A 그룹(통제집단)와 B 그룹(실험집단)에 각각 소재 그룹들을 설정하고 나면, 테스트를 위한 예산, 핵심 지표, 스케줄을 설정할 수 있습니다.
  12. 먼저, 기존 캠페인 예산 중 A/B 테스트에 사용하기를 원하는 예산의 비중을 아래에 입력하세요. 일 예산 기준으로 적용됩니다.
    ___________2022-06-10______2.44.56.png
    • 통제집단과 실험집단간의 예산 비중은 설정된 예산 비중 내에서 1:1로 고정됩니다. 예를 들어, 전체 일 예산이 $1,000이고 예산 비중을 30%로 설정했을 시, A, B 그룹의 일 예산은 각각 $150가 됩니다.2021-09-16_screenshot.png
    • A/B 테스트 예산의 비중은 캠페인 예산의 100%까지 설정할 수 있습니다. 
      노트: 만약 각 요일별로 캠페인 일 예산을 다르게 세팅한 경우, A/B 테스트 예산은 각 요일에 배정된 일 예산에 따라 변동됩니다.  
    • 테스트가 활성화되고 나면 예산 비중을 수정할 수 없습니다.
  13. Key Metric 아래에서 테스트 결과 비교를 위해 사용할 가장 중요한 핵심 지표를 선택하세요. 
    ___________2022-06-10_______11.33.28.png
    • CPA는 인앱 이벤트 최적화 캠페인에서만 선택할 수 있으며, A/B 테스트의 성과 측정에 사용될 이벤트는 캠페인의 최적화 목표 이벤트와 동일하게 설정됩니다.

  14. 테스트 기간을 Schedule에 설정하세요. 시작과 종료 시점을 모두 설정해야 합니다. Screen_Shot_2021-07-20_at_5.16.49_PM.png 
    • 타임존 설정은 각 광고 계정의 설정을 따릅니다. 
    • 만약 종료 시점 변경이 필요하다면, 최초 설정한 이후라도 변경이 가능합니다. 
      노트: 최소 24시간, 최대 30일의 기간을 설정할 수 있습니다.
  15. 모든 필드들을 잘 설정했는지 확인하고, Create 버튼을 클릭합니다.
    중요: 테스트가 한 번 완료되고 나면, 해당 테스트는 다시 활성화할 수 없습니다. 다시 한 번 동일한 테스트가 필요하더라도 새로운 A/B 테스트를 다시 설정해야하는 점을 참고해 주세요. 만약 데이터가 충분하지 않다고 판단된다면 테스트의 종료 시점을 연장할 수 있지만 최대 30일까지만 연장이 가능합니다. 

 

iOS 캠페인용 노트:
소재 A/B 테스트 기능을 활용하기 위해서는 iOS 캠페인에서 확률적 어트리뷰션이 활성화되어 있어야 합니다. 본 기능은 기여 측정 불가 트래픽 혹은 SKAdNetwork 기여 가능 트래픽만으로 운영되는 iOS 캠페인에는 사용할 수 없습니다.

 

소재 A/B 테스트 성과 분석

소재 A/B 테스트가 생성되고 나면, 테스트의 상태 및 활성화된 테스트에 대한 자세한 성과를 확인할 수 있습니다. 

  1. 좌측 상단 드롭다운에서 소재 A/B 테스트를 진행할 광고 계정을 선택합니다.

  2. 좌측 사이드바 메뉴에서 앱을 선택합니다.

  3. 우측 메인화면의 캠페인 리스트에서 캠페인을 선택합니다.
  4. 캠페인에 생성되어있는 광고 그룹 목록 아래의 A/B Test Groups 섹션을 확인할 수 있으며, 여기에서 광고 그룹에 세팅된 A/B 테스트들을 확인할 수 있습니다.

  5. 각 A/B 테스트 좌측의 Screen_Shot_2021-07-20_at_1.57.42_PM.png 를 눌러 테스트의 성과 요약을 확인하세요.___________2022-06-10______2.55.13.png
  6. 분석이 필요한 A/B 테스트의 타이틀을 클릭하시면 아래와 같은 상세 분석 결과를 확인하실 수 있습니다. Screen_Shot_2021-07-20_at_2.17.29_PM.png
    그래프 좌상단의 드롭다운 메뉴에서 아래와 같은 핵심 지표들을 선택하여 성과를 비교할 수 있습니다. 
    • Spending
    • Impressions
    • Clicks
    • Installs
    • Actions
    • CTR
    • IPM
    • CPC
    • CPI
    • CPA
  7. 또한 Test Result 아래에서 테스트의 진척 상황을 확인하실 수 있습니다.
    Screen_Shot_2021-07-21_at_5.56.19_PM.png
  • 테스트 기간동안 수집된 데이터의 양에 따라 결과가 달라집니다. A 그룹과 B 그룹 중 어떤 소재 그룹이 우수한 지 판단할 수 있는 충분한 데이터가 수집되면 여기에서 결과를 확인할 수 있습니다.
  • 어떤 소재 그룹이 우수한 지 판단하기 위해서는 신뢰 수준이 75%를 넘어야 합니다. 만약 테스트의 신뢰 수준이 75% 이하라면 최종 결과는 "There is no significant difference (유의미한 차이를 발견할 수 없음)"와 같이 표기될 것입니다.
  • 선택한 핵심 지표에 따라 테스트 결과가 달라질 수 있습니다. (예: CPC는 A 그룹이 우수, CPA는 B 그룹이 우수) 따라서 여러 지표를 비교하여 테스트 결과를 분석하기를 권장합니다. 

 

iOS 캠페인용 노트:
iOS 캠페인에 대해서는 MMP 어트리뷰션 이벤트를 기반으로만 소재 A/B Test 결과를 확인할 수 있습니다. (SKAN 어트리뷰션을 통한 A/B 테스트 결과는 제공되지 않습니다.)

 

도움이 되었습니까?

1명 중 1명이 도움이 되었다고 했습니다.

또 다른 질문이 있으십니까? 문의 등록