사전캠프 9일차 : A/B 테스트 실습

오늘의 퀘스트 : A/B 테스트

1. A/B 테스트란?

- 두 가지 이상의 안을 고객에게 노출시켜, 어떤 메시지가 더 효과적인지 비교하는 방법

- 비유하자면 카페에서 신메뉴 고민할 때 손님들에게 둘 다 팔아보고 더 많이 팔리는 걸 선택하는 것

🔺 A/B 테스트를 하는 이유

• 무엇이 더 좋은지 모르기 때문
• 작은 차이가 결과를 바꿈 (CTR, CVR 달라짐)
• 실패 비용 줄이기

🔺핵심 구조 

 

• A안 vs B안 만들기
• 같은 조건에서 노출
• 결과 비교 (CTR, CVR 등)
• 더 좋은 것 선택

 

2. 오늘도 어김없이 팀 프로젝트

• 광고 선택하기
  - 온라인 영어 회화
     - "듀오링고"
• 광고 카피 작성하기
  - 분류 기준 : 듀오링고 특징
     • 기능 VS 재미
  
  
• 기획
  - 목표 : 브랜드 인지도 향상
  - 가설 : 재미를 강조한 B안이 더 많이 선택될 것이라고 예상했다.
  - 근거
    • 영어공부 = 지루함, 게임 = 재미
        → 영어 공부를 재미있게 할 수 있다는 인식 전환
    • 게임으로 하는 영어 공부 소비자 흥미, 듀오링고만의 장점 어필
    • 직관적인 시각 요소와 승부욕 자극을 통한 흥미 유발
  
  
• 진행
  1) 기능 강조형과 재미 강조형 두 그룹으로 나눠 각자 아이디어 생성
  
  - A안_기능 강조형 
    • "듀오랑 대화만 했을 뿐인데, 실력이 늘었다"
    • "외국어 공부하는데 사전이 왜 필요해? AI는 알아서 교정해주는데"
    • "현지인도 찾기 힘든 언어 공부, 1개월 무료체험으로 AI튜터와 지금 바로 시작하세요!"
    • "발음이 안 좋아도 괜찮아. Duo는 끝까지 들어줘요"
    • "사람이랑 말하기 부담되면? Lily랑 편하게, AI랑 무제한 연습하세요"
  
  - B안_재미 강조형
    • "아직도 단어 쓰면서 외우니? 난 게임으로 외워"
    • "강의실에선 꿀 먹은 벙어리? 친구랑 듀오링고로 입 풀고 이번 학기 과탑 노리자"
    • "너 영어 공부한다더니 아직도 브론즈 리그야? 1개월 무료 체험으로 나 따라잡아"
  
  2) 대표 문구 정하기
  - 자신이 속하지 않은 그룹의 아이디어들 중 투표를 통해 대표 메시지 채택
  
  
• 결과
  - A안 (기능 강조형)
  - "발음이 안좋아도 괜찮아. Duo는 끝까지 들어줘요"

        - B안 (재미 강조형)

        - "너 영어 공부한다더니 아직도 브론즈야? 1개월 무료 체험으로 나 따라잡아"

3. A/B 테스트 진행

- 실제로 A/B 테스트를 진행할 수 없는 상황

- 디지털마케터 5기 잡담방을 통해 투표 진행

 

4. 결과

A/B 테스트 결과, 기능을 강조한 A안이 12표, 재미를 강조한 B안이 9표로 A안이 더 높은 선택을 받았다

초기 가설에서는 게임 요소를 활용한 재미 중심 메시지가 더 높은 반응을 얻을 것이라고 예상했는데 실제 결과는 다르게 나왔다

 

A안은 "발음이 안좋아도 괜찮아"라는 문구를 통해  "나도 발음 자신 없는데", "헉 내 얘기다"와 같은 공감을 유도하였다. 또한 틀려서 비웃음 당할까 걱정하는 사람들에게도 부담감을 줄여 가볍게 시작할 수 있도록 만든 점에서 초보자까지 폭넓은 사용자층의 선택을 이끌어낼 수 있었다

 

반면 B안은 경쟁과 성과를 강조하는 메시지로, 이미 학습 경험이 있거나 게임 요소에 익숙한 사용자에게 더 적합한 구조였다 또한 브론즈, 리그와 같은 용어는 게임에 관심이 없는 사용자들에게는 직관적으로 이해되지 않을 수 있어 메시지 전달력이 상대적으로 낮아졌을 가능성이 있다

 

결과적으로 공감과 진입장벽 완화를 제공한 A안이 더 많은 사용자에게 효과적으로 작용하여 더 높은 선택을 받은 것으로 해석할 수 있다.

하지만 처음 기능 강조를 목표로 하고 만들었던 문구인데 처음 의도와 다르게 표현된 것 같아 아쉽다.

 

 

오늘 배운 내용 정리 및 느낀점

어제 IMC를 배우면서 핵심 메시지를 중심으로 일관되게 전달하는 것이 중요하다는 것은 이해했지만 전달하고 싶은 메시지가 많을 경우 어떻게 정리해야 하는지에 대한 고민이 남아 있었다.

그런데 오늘 A/B 테스트를 통해 핵심 메시지를 어떻게 설정하고 검증해야 하는지 이해할 수 있었다.

 

처음에는 전달하고 싶은 메시지가 많을수록 우리 제품(혹은 서비스)이 좋다는 것을 효과적으로 보여줄 수 있다고 생각했었다. 그래서 여러 대상을 타겟으로 광고를 여러 개 만들어도 되지 않을까 라는 생각을 했었다.

하지만 A/B 테스트를 하는 이유 중 '실패 비용을 줄이기 위함'를 보고 머리를 한 대 맞은 것 같았다

광고의 목적은 같은 비용으로 더 큰 효과를 내거나 같은 효과라면 더 적은 비용을 사용하는 것이다.

지금까지 광고를 보는 소비자의 입장으로 과제를 대해 온 것 같아 부끄러워졌다.

 

이번 경험을 통해 마케팅은 단순히 내가 하고 싶은 말을 전하는 것이 아니라 사용자의 상황과 감정에 맞춰 가장 잘 반응할 수 있는 메시지를 선택하고 그것을 데이터로 검증해 나가는 과정이라는 것을 명심 또 명심하자