기능 변경 도입 여부를 결정하는 법 - AB Test

---

1. A/B Test 란?

웹/앱에서 새로운 기능/변을 도입하기 전, 기존안 A와 신규안 B에 대해 사용자 그룹을 나누어 테스트 하여 그 결과에 따라 신규안 적용 여부를 결정하는 방법 입니다. 신규안 B에 대해서는 상대적으로 작은 그룹으로 테스트를 시작한다.

- 신규안을 도입하기 위해서 사용

- 기존안을 제거하기 위해서 사용

 

 

2. 무엇을 테스트 할까?

- New Page Layout / UI 개선 / Product 이미지

- Search result page / 번들링 / Notation

- App 다운로드 / Sign-Up / 마케팅 프로모션

- Checkout Components

- 헤드라인, 메세지 - 푸시 / SMS / e-mail

 

 

3. 옵티마이즐리 사이트

Optimizely: The World's Leading Digital Experience Platform

옵티마이즐리 사이트에서, A/B 테스트를 실제 실행한 다양한 예시를 볼수 있습니다.

 

 

4. A/B 테스트 예시

옵티마이즐리에서 가져온 실제 예시 인데요. 앱다운로드 수를 늘리기 위해서, 사이트의 레이아웃을 오른쪽과 같이 수정하여 350%의 다운로드수 증가를 볼수 있었습니다.

 

이것 또한 옵티마이즐리에서 가져온 예시 인데요.  A/B 테스트를 통해 기존의 Skip 버튼을 없애므로써,  수익이 2배 증가 하였습니다.

 

 

4. A/B 테스트 구성요소

1. Randomizer

어떤 사용자가 A그룹의 갈지 B그룹의 갈지를 결정 합니다.

 

2. APIs

PO(프로덕트 오너)가 A안, B안의 정의를 해주면, 개발팀에서 API를 개발 합니다.

 

3. Data collection(데이터 수집)

데이터를 수집 합니다. 

 

4. Control center / dashboard

컨트롤 센터, 대시보드를 통해서 테스트의 비율을 조정 할수 있고, 테스트를 중단 할수 있습니다.  

 

5. Data Analysis

A/B 테스트의 결과가 신뢰유의도를 가질 수 있는지 판별할 수 있는, P-value, Power 값을 계산 할수 있어야 하고, 이에 따라서 이 테스트가 이겼는지, 졌는지를 판단 할 수 있습니다.

 

5. A/B 테스트 시 주의할 점

한꺼번에 많은 테스트를 하지 않습니다. 많은 테스트를 동시에 진행하게 되면, 결과가 다른 테스트의 영향을 미칠수 있습니다. 테스트 모수가 충분해야 합니다. 테스트 모수가 충분하지 않다면, 신뢰유의도를 계산할수 없습니다. A/B 테스트 결과 이기지도, 지지도 않은 상태가 될 경우가 있습니다. 이런 경우에는 A/B 뿐 아니라, A/B/C, A/B/A, A/B/B 도 가능 합니다. 시작은 작게 95 : 5 또는 90  : 10 비율로 테스트를 하고, 크리티컬한 문제가 발생하지 않는 경우에, 비율을 점차 늘려가는 것이 좋습니다.

 

 

6. Data & Test iteration

각 단계 중에서 어떤 것을 먼저 하는지는 중요 하지 않습니다.