[Growth Hacking] 그로스 해킹 시작부터, 성장 실험까지

5장. 그로스 해킹 시작부터, 성장 실험까지

# 그로스 해킹 시작하기

그로스 해킹의 꽃은 성장 실험 !

핵심 지표를 정의하고, 가설을 세워서 실험을 진행하고, 데이터를 분석하는 과정을 반복하면서

조직은 배움을 축적하고 서비스는 성장할 수 있음

하지만, 아무것도 갖춰지지 않은 상태에서 무턱대고 실험 시작할 수 없음

 

성장 실험을 하기 위한 단계

 

1) 데이터를 활용할 수 있는 업무 환경 만들기

- 클라우드 분석 환경 ex) 아마존 EMR, 구글 GCP, 마이크로소프트 Azure

- ETL 자동화 서비스 ex) Fivetran, StitchData

- BI(Business Intelligence) 서비스 ex) Tableau, Redash

 

2) 데이터 파이프라인 구축하기

: 데이터를 쌓고, 필요한 형태로 가공하고, 추출하고, 의사결정에 활용할 수 있는 프로세스 만드는 일

 

행동 로그 분석을 위한 데이터 파이프라인

- 서비스 로그 : 트랜잭션의 결과를 기록하는 로그

- 행동 로그 : 트랜잭션에 이르기까지 사용자가 서비스에서 하는 액션에 대한 로그

→ 행동 로그 설계의 핵심은 이벤트의 속성(세부정보)을 어떤 수준으로 함께 남길 것인가를 정의하는 것

순서 : 행동 로그 설계 → 이벤트 스키마 설계 → 이벤트 적재 및 확인

 

3) 데이터 활용을 위한 역량과 문화 갖추기

데이터를 요청하는 사람과 추출하는 사람이 명확하게 나뉜 구조에서는 데이터가 원활하게 흐르기 어려움

→ 사내 교육을 통해 구성원 개개인의 전사적 데이터 활용 능력 향상시킴

 

4) 성장 실험

 

 

# 성장 실험 : A/B 테스트

A/B 테스트 : 두 개의 변형 A와 B를 사용하는 종합 대조 실험으로,

두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지 검증하는 과정

 

A/B 테스트 설계 시 필요한 기초적인 개념

 

- 가설 : 독립 변수와 종속 변수가 무엇인지를 정의하고 종속 변수의 목표 수준을 정하는 형태

→ A/B 테스트가 의미 있으려면 실험을 통해 무엇을 확인하고 싶은지 명확해야 함

ex) '서비스 소개를 텍스트로 보여주는 것보다 이미지로 보여주는 것이 가입 전환율이 더 높을 것이다.'

 

- 실험 집단/통제 집단 : 전체 모수 중 실험에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의

→ 통제 변수 관리와 엄격한 기준에 따른 샘플링 중요

 

- 독립 변수 : 인과 관계에서 원인이 되는 변수, 즉 종속 변수에 영향을 줄 거라고 기대되는 변수

- 종속 변수 : 독립 변수에 의해 영향을 받을 것으로 기대되는 변수

 

- 통제 변수 : 실험 집단/통제 집단 모두에서 동등한 조건을 가져야 하는 변수

→ 제 3의 변수가 종속 변수에 영향을 미칠 수 있다고 판단되면 이를 통제 변수에 포함해서 종속 변수에 미치는 영향 차단

 

독립 변수 외에 종속 변수에 영향을 미치는 나머지 요소들을
얼마나 잘 식별하고 통제하느냐가 A/B 테스트를 설계하는 과정에서 대단히 중요

 

 

 

# A/B 테스트 결과 분석하기

실험의 유의 수준을 판단하기 위해 통계학에서 사용하는 기준은 p값

(p값 : 귀무가설 하에서 관찰된 검정통계량만큼의 극단적인 값이 관찰될 확률)

 

통계학 가설 검증 방식

 

- 우리가 검증하고 싶은 것은 A 조건의 클릭율이 B 조건의 클릭율보다 높다는 가설이다.

- 하지만 통계학에서는 이러한 직접 비교를 통한 검증은 불가능하다.

- 우선 A 조건과 B 조건의 클릭율 차이가 없다고 가정한다.  → 귀무가설

- 표본을 추출해서 검정해 봤더니 검정통계량이 매우 극단적인 값이 나온다.

- 귀무가설 하에서 이처럼 극단적인 검정통계량이 관찰될 확률(p값)은 5% 미만이다.

- 따라서 A 조건과 B 조건은 클릭율의 차이가 있다고 판단할 수 있다.

 

A/B 테스트의 결과를 판단하기 위해서는 p값과 함께
실험의 실질적인 성과, 비용, 가치 등을 종합적으로 고려해야 함

 

 

 

 

출처 : 그로스 해킹 (양승화)

 

그로스 해킹

그로스 해킹에 대한 실용적인 지침서! 성장하는 서비스를 만들기 위해서는 필요한 데이터를 정의하고, 수집하고, 분석 환경을 구축하고, 실험하고, 서비스에 반영하는 일련의 과정이 잘 갖춰져야 합니다. 또한 성장을 위한 효율적인 조직 구조와 문화를 만들어야 합니다. 그로스 해킹은 엄청난 리소스나 시스템이 갖춰져야만 시작할 수 있는 것은 아닙니다. 작은 스타트업이라고 하더라도 환경이나 여건에 맞춰 작은 것부터 하나씩 준비해 나갈 수 있습니다.

저자

양승화

출판

위키북스

출판일

2021.01.14