아, 혹시 이게 A/B Test인가? 내가 드디어 대상자가 되었던걸까?
최근에 흥미로운 경험을 했다.
넷플릭스 앱을 들어갔는데 기존에 봤던 메인화면과 구성이 조금 달랐다.
최근들어 메인 화면이나 새로 뜨는 콘텐츠 등 업데이트가 자주 되고 있는 편이라 이번에도 업데이트가 된거겠거니 싶었다.
근데 그 다음날 들어가보니 원래 구성(A)대로 돌아간 것이 아닌가.
분명히 메인 화면에 특정 콘텐츠가 메인 배너처럼 큰 영역을 차지하고 있지 않았다. (대신, 상단에 있는 '시리즈'나 '영화' 탭을 클릭하면 해당 카테고리의 화면은 A와 동일한 구성이긴 했다.)
캡쳐해두지 않았다면 내가 잘못본건가 싶었을테지만 내게는 캡쳐본이 있었고,
순간적으로 '아, 혹시 이게 A/B Test인가? 내가 드디어 대상자가 되었던걸까?'라는 생각이 들었다.
넷플릭스는 A/B Test를 많이 하는 기업으로 알려져있다.
사례 하나를 간단히 소개해보고자 한다. 바로, 랜딩 페이지의 CTA버튼이다.
위의 사진을 차례대로 보면 좌측은 'TRY IT NOW' 라는 단 하나의 CTA 버튼이 있고,
중앙은 CTA 버튼 하단에 회원가입을 유도하는 텍스트 버튼이 있다.
마지막으로 우측은 'TRY IT NOW' 버튼이 강조되어 있긴 하지만 2개의 CTA 버튼이 노출되어 있는 것을 알 수 있다.
결과부터 말하자면 이 A/B TEST에서 성과를 거둔 건 좌측, CTA 버튼이 하나만 있는 경우였다.
사용자가 제품을 사용하도록 유도가 필요한 랜딩 페이지에서는 그만큼 하나의 기능에 집중도가 높아야 한다는 것을 보여준 사례라고 할 수 있다.
이 밖에도 넷플릭스는 문구, 썸네일, 버튼 UI 등 다양한 영역에서 A/B Test를 하고 있기에, 더욱이 내가 경험한 것도 그 중 하나가 아니었나 생각이 들었던 것이다.
그럼 그 A/B Test란 무엇인가?
A/B Test란 두 가지 사항을 비교하여 어느 것이 더 나은 성과를 나타내는지 확인하는 테스트이다.
A는 기존 안, B는 특정 요소를 변경한 안으로 구성하여 일부 사용자에게는 A안을 보여주고, 또 다른 일부 사용자에게는 B안을 보여주는 형식으로 진행한다.
이 테스트는 동시에, 동일한 기간동안, 모집단을 대표할 수 있는 표본집단을 타켓으로 설정하여 진행하여야 한다. 진행 후에는 이 실험의 결과가 유의미한지를 확인하기 위해 통계적 유의성 검증, 실험 진행 시 변수에 의한 왜곡이 없었는지에 대한 확인을 해야한다.
(이 때 주로 사용하는 것이 A/B Test 계산기라고 한다. 이 계산기를 사용하기 위해 알아야 할 개념들이 정리되어 있는 링크도 공유한다.)
A/B-Test Calculator - Power & Significance - ABTestGuide.com
Standard error B ( CRB * (1-CRB ) / VisitorsB)1/2
abtestguide.com
p값? 신뢰구간? AB테스트를 완성하는 통계 분석, 기본 개념 잡기 (요즘 IT)
그럼, 다시 돌아와 넷플릭스의 테스터였을 수도 있는 얘기를 해보자. (물론 아닐수도 있다.)
만약, 이게 A/B Test가 맞았다면 넷플릭스는 무엇을 테스트 해보려는 것이었을까?
조심스럽게 추측을 해보자면 이렇게 가설을 나눠볼 수 있지 않을까 싶다.
A안. 사용자들은 메인 화면에서 특정 콘텐츠 하나를 메인 배너로 노출하였을 때 상세 페이지 전환율이 올라갈 것이다.
B안. 사용자들은 메인 화면에서 '오늘 대한민국의 TOP 10 시리즈'가 노출되었을 때 상세 페이지 전환율이 올라갈 것이다.
** 여기서 메인화면은 '어떤 것도 설정하지 않은 첫 상태'를 의미한다.
넷플릭스의 수익 모델은 사용자들의 월 구독료이다.
영상 화질, 동시 재생 가능 기기 수 등에 따라 구독료가 상이하지만, 중요한 것은 구독권을 구매하는 신규 유저가 유입되거나, 기존 유저들이 정기 구독을 해지하지 않도록 하는 것이 넷플릭스의 주요 과제일 것이다.
그렇다면 넷플릭스의 모든 실험은 사용자들이 정기 구독을 하는 것으로 귀결이 될텐데, 위의 가설들은 정기권을 구독하는 것과 어떤 영향이 있을까?
사용자 입장에서 봤을 때, 콘텐츠 서비스는 계속 볼만한 콘텐츠가 있는지에 따라 구독 여부가 결정된다. 만약 새로운 콘텐츠나 관심있는 콘텐츠가 올라오지 않고 매번 동일하다면 더 이상 구독을 유지할 이유가 없고, 결국 이탈하게 된다. 그렇기 때문에 콘텐츠 서비스는 사용자에게 이 부분을 계속 인지시킬 수 있어야하는데, 메인 화면은 사용자가 그것을 첫 번째로 인지할 수 있는 중요한 화면인 것이다. 여기서 그치지 않고 사용자가 그 콘텐츠들의 영상 재생 버튼을 클릭해야 최종 전환이 되고, 그 전환율이 높을 수록 사용자들의 구독권 유지 확률은 올라갈 것이라 생각된다.
그럼 그 중요한 메인 화면에서 콘텐츠 노출 우선 순위, 방식, 기준 등이 어떠냐에 따라 사용자들의 영상 재생 버튼을 클릭하는 전환율이 달라진다면 내가 경험한 현상이 A/B Test로 충분히 유의미하지 않을까 싶다. 그리고 A/B Test가 맞다면 이번 테스트의 승리는 기존 A안이 된 것 같다. (왜냐하면 다음 날 원래 화면 구성으로 돌아갔으므로. 평소에 모바일 앱보다는 TV 앱을 자주 사용해서 한 번 본 것으로 그친 것이 아쉽다.)
넷플릭스에 좋아하는 콘텐츠가 많아서 구독을 이어온지 거의 1년이 넘었는데, 이번에 처음으로 새로운 관점으로 서비스를 보게된 것 같다. 물론 살펴보면 엄청나게 많은 시도와 의도들이 담겨져 있을텐데, 이렇게 하나씩 살펴보는 것으로 시작을 해보려고 한다. A/B Test가 맞을지 아닐지는 알 수 없지만 캡쳐로만 봤던 사례들을 이렇게 경험해본 것이 너무 신기하고 흥미로워서 정리를 해보았다. 앞으로 이러한 서비스들의 다양한 시도를 좀 더 잘 인지할 수 있었으면 좋겠다.