본 글은 'Delightroom'의 <임팩트 예측해보기 (feat.DAU)>에 실린 글을 주관적으로 해석한 리뷰 입니다.
1. 작업의 우선순위를 정할 때에는 작업의 impact를 고려해야 한다.
작업의 우선순위를 결정할 때에는 작업의 Impact(효과)의 크기를 고려해야 한다. 서비스 내에서 풀어야 하는 다양한 문제들 중, impact가 큰 순서대로 작업해 나가야만 제한된 리소스를 효과적으로 사용할 수 있기 때문이다.
우리는 보편적인 유저들이 영향을 받는 기능을 개선하는 것이 impact가 큰 작업이라고 생각할 수 있다. 아래 예시를 보자.
- (task1) 하루에 1,000명이 보는 페이지의 UI/UX 개선
- (task2) 하루에 10,000명이 보는 페이지의 UI/UX 개선
위 상황에서는 [task2]를 선택하는 것이 보다 많은 유저들의 경험을 개선할 수 있다는 측면에서 임팩트가 크다고 할 수 있다.
하지만 단순히 많은 유저가 경험한다고 해서 항상 임팩트가 크지 않다. 많은 유저들이 경험하지만 사소해서 앱 사용에 큰 불편이 없는 것과, 너무 크리티컬에서 이탈을 결정할 만한 사안은 중대함의 정도가 다르다. 아래 예시를 보자.
- (task1) 하루 1,000명이 보는 페이지, 경험한 유저의 50% 이탈 (500명 이탈)
- (task2) 하루 10,000명이 보는 페이지, 경험한 유저의 1% 이탈 (100명 이탈)
위 예시에서는 [task1]을 선택하는 것이 임팩트 측면에서 훨씬 효과적이다.
이렇듯 우리는 작업의 우선 순위를 생각할 때 임팩트를 예측해야 한다. 그렇게 해야만 합리적인 결과를 얻어낼 수 있다. 임팩트를 미리 예측하지 않고 이를 소홀히 한 경우, 기대만큼 지표가 개선되지 않는 경우가 발생할 수 있다. 투자한 노력 대비 그에 따른 결과가 크지 않다는 의미이다.
2. 그렇다면 임팩트는 어떻게 계산하고 비교할 수 있을까?
우리는 앞서 임팩트를 계산하는 것의 중요성에 대해 알게되었다. 하지만 서비스 개발은 다양한 성격의 작업들로 이루어져 있기 때문에, 어떻게 우선순위를 설정해야 하는지 애매한 경우들이 있다. 예를 들면, 서비스 내의 버그를 개선하는 작업과 UI/UX 개선의 작업은 성격이 너무 달라 작업의 임팩트를 비교하기 쉽지 않다.
이러한 경우 보편적으로는 리텐션(retention)을 통해 작업의 임팩트를 비교해볼 수 있다.
2.1 리텐션이 무엇인가요?
| 리텐션(user retention)이란?
리텐션(user retention)이란, 특정 기간동안 활성화된 유저 혹은 고객의 수를 나타낸다. 보통은 '리텐션률'이라는 백분율을 통해서 표현한다. 리텐션율을 구하는 공식은 아래와 같다.
(설정된 기간 끝의 활성 사용자 수 - 설정된 기간 동안의 신규 사용자 수) / 기간 시작 시의 총 활성 사용자 수
이러한 유저 리텐션을 개선하기 위해 코호트 분석, 고객 피드백 수집 및 활용, 온보딩 경험 개선, 푸시 알림 등의 방법을 주로 활용한다.
| 유저 리텐션 vs 고객 리텐션
| 유저 리텐션 | 유저는 제품이나 서비스를 이용하는 사람으로, 유저 리텐션은 제품을 사용하는 사람 수를 측정 |
| 고객 리텐션 | 고객은 제품이나 서비스에 가격을 지불하는 사람으로, 고객 리텐션은 제품을 계속해서 결제하는 고객 수를 측정 |
유저 리텐션이 유저의 활동에 대한 측정 지표라면, 고객 리텐션은 재무적인 목적이 강한 지표라고 할 수 있다.
| 유저 리텐션과 이탈률
유저 리텐션과 이탈률은 큰 상관관계가 있다. 이탈률은 비즈니스가 잃는 유저 수 혹은 다시 구독하지 않는 고객 수를 의미한다. 따라서 이탈률은 유저 리텐션율의 역수이며, 둘을 합치면 100%가 된다.
| 유저 리텐션을 어떻게 계산할 수 있을까?
가장 이상적인 유저 리텐션률은 100%, 이탈률은 0%일 것이다. 하지만 이는 불가능한 수치이기 때문에, 산업군 별로 적합한 리텐션률을 목표로 설정해야 한다. CustomerGauge의 [B2B NPS & CX Benchmarks Report]에서는 B2B 환경에서의 고객 경험과 추천지수에 대한 지표와 트렌드를 나타내주고 있다. 이를 참고해 시장 평균 대비 나의 기업이 어느 정도 위치에 있는가를 비교해볼 수 있다.
다시 돌아와서, 리텐션율을 개선하려면 활성 유저의 정의와 기간을 명확히 설정해야 한다.
| 활성 유저를 정의하는 기준 | 기간을 설정하는 기준 |
| 애플리케이션을 설치한 유저 | 분기 보고서의 경우 분기를 기준 |
| 애플리케이션을 매일 사용하는 유저 | 산업이나 제품 특성에 따라 기간을 정할 수 있음 |
| (예시) 캘린더 앱의 경우, 매일 사용하는지가 기준이 될 것 |
| 유저 리텐션의 개선 방법
유저 리텐션을 향상시키기 위해서는 유저 경험을 먼저 향상시켜야 한다. 유저 리텐션과 유저 경험을 서로 뗄 수 없는 관계이다. 유저가 제품을 즐기고 가치를 느낀다면 더 오래 서비스에 머물 것이다. 고객 경험을 개선하기 위해서는 코호트 분석, 피드백 루프, 고객 온보딩, 꾸준한 업데이트 등과 같은 방법을 활용할 수 있다.
2.2 리텐션은 어떻게 추산하나요?
일반적으로 리텐션은 데이터와 직관을 적당히 조합해 추정치를 산정한다. 이를 페르미 추정이라고 한다. 예시를 살펴보자.
- A 버그를 겪는 유저들이 N명이고, 버그를 겪은 유저들과 그렇지 않은 유저들의 리텐션 차이가 K%이다. 따라서, A 버그를 해결했을 때 P% 만큼의 리텐션이 개선될 것이다.
- B 화면을 경험하는 유저들이 K명이고, 이 화면에서 이탈률이 D%이다. 개선된 UI/UX를 적용한다면 과거 비슷한 사례를 기준으로 W%만큼의 이탈률의 개선이 있었다. 따라서 B화면의 UI/UX를 개선한다면 E%만큼의 리텐션이 개선될 것이다.
임팩트를 비교 가능한 숫자로 변환하는 것과, 초기 예측과 사후 실제 변화를 비교하는 loop를 만들어 예측 정확도를 높이려는 시도 또한 중요하다.
2.3 비교 가능하지 않은 것을 비교해보자
비교 가능한 작업이 있는 반면, 그렇지 않은 작업도 존재한다. 예시를 들어보자. 우리에게 아래와 같은 두 가지 과업이 있다.
- 서비스의 리텐션 개선에 집중하자
- 서비스의 유입자를 늘리기 위해 마케팅에 집중하자
우리는 서비스가 성장하기 위해 1) 유입을 늘리는 것이 좋을지, 2) 이탈을 막는 것이 좋을지 결정하기 어렵다. 리텐션과 유저 획득에 교집합이 없기 때문이다.
하지만 둘은 '서비스 성장'이라는 공통의 목표를 가진다. 서비스의 성장을 다양한 관점에서 정의할 수 있지만, 일반적으로 일일 사용자 수 DAU라는 척도가 있다.
| DAU(Daily active users)는 무엇인가요?
일일 활성 유저 (DAU)는 24시간 동안 앱을 사용하는 순 유저 수를 의미한다. DAU는 일반적으로 매일 앱을 사용하는 유저가 있는 업계에서 사용된다.
활성 유저란, 앱을 다운로드하고 사용하는 사람을 의미한다. 이 또한 산업, 기업별로 다를 수 있지만 가장 일반적으로는 앱에 '로그인'한 유저가 있다. 산업군 별 구체적인 예시를 보자.
| 은행 (온라인 뱅킹 앱) | 송금을 한 유저 |
| 이커머스 (온라인 쇼핑몰 앱) | 장바구니에 상품을 담은 유저 |
| SaaS (소프트웨어 기업) | 소프트웨어를 사용한 유저 |
이러한 활성 유저는 추적에 동의한 IOS 유저의 이메일, user_id, 웹 유저의 쿠키 등의 개인 식별자를 통해 고유성을 식별할 수 있다.
| DAU(Daily active users)의 계산 방법
| 활성 유저의 기준 설정 (비즈니스 목표에 따라 달라짐) | 버튼을 클릭하거나, 화면을 밀어 넘기거나, 스크롤한 유저 |
| 측정하려는 유저 활동의 측정 시점 설정 | 캠페인 실행 후 X일 째 24시간 |
| 데이터 수집 후, 활성 유저 기준을 충족하는 고유 유저 수 총합 계산 | - user1 > 버튼 클릭 후 앱 종료 - user2 > 로그인 후 활동 X - user3 > 로그인 스크롤, 버튼 클릭 - user1 > 다시 로그인해 버튼 클릭 |
| 결론 | DAU = 2 - user1은 활성 유저, 1번 count - user2는 활성 유저가 아님 - user3은 활성 유저, 1번 count 총 2번으로 count 됨. |
| DAU(Daily active users)로 나타낸 임팩트 비교
현재 서비스의 stat을 다음과 같이 정의해보자.
- user 유입 : 일 평균 5,000명
- retention curve(앱이나 서비스에 방문한 후 다음날에 돌아왔는지를 나타내는 곡선 그래프)
| Day0 | 100% |
| Day1 | 50% |
| Day2 | 40% |
| Day6 | 16% |
위의 retention curve를 해석해보면, Day0에 100명이 앱에 가입하거나 사용했다고 가정했을 때, Day1에는 그 중 40명만 다시 앱을 사용한 상황이다. (Day1 retention rate : 40%)
우리는 N일 뒤의 DAU를 예상할 수 있다.
결국 DAU라는 것은, 일 평균 유입자 수 x retention curve의 AUC로 구해지게 된다. 왜냐하면, 매일 새로 유입되는 사람들(New Users)와 전에 왔던 사람들의 재유입(retention users)를 다 합친 사용자가 DAU가 되기 때문이다.
따라서 위의 예시 기준으로 아래와 같이 DAU를 예측해볼 수 있다.
- 6일 뒤 DAU : 5,000 * (D0 + D1 + D2 + D3 + D4 + D5 + D6) = 11,700명
- 30일 뒤 DAU : 5,000 (D0+D1+…+ D30)
- 90일 뒤 DAU : 5,000 (D0+D1+……. + D90)
- 365일 뒤 DAU : 5,000 (D0+D1+…………+ D365)
자, 이제 비교할 수 있는 상황을 가정해보자.
1. 현재 일 평균 유저 유입이 5,000 > 10,000 (명)으로 상승한다면?
첫 번째 상황에서 DAU 증분의 크기는 10,000(D0+D1+ .. +Dn)-5,000(D0+D1+..+Dn) 이 된다.
2. 현재 리텐션 커브가 10% 상승한다면?
두 번째 상황에서 DAU 증분의 크기는 5,000(D0`+D1`+ .. +Dn`)-5,000(D0+D1+..+Dn) 이 된다.
이 두 증분의 크기를 서로 비교해보면, DAU 증분에 어느 레버가 더 임팩트가 클지 예상해볼 수 있다. 이에 따라 어떤 전략적 결정을 하는 것이 서비스 성장에 더 도움이 될지도 예측해볼 수 있다.
위 그래프를 보면 알 수 있듯이, 리텐션을 개선하면 같은 수의 신규 유저를 유입하더라도 유저가 더 오래, 더 자주 머무르기 때문에 DAU가 늘어나고, 결과적으로 누적 트래픽도 크게 증가한다.
여기서 핵심은 유저가 금방 떠나지 않고 오래 남아있으면 새 유저만 바라보지 않아도 시간이 갈수록 앱을 사용하는 총 인원이 많아진다는 것이다!
결국 기업의 궁극적인 목적을 살펴보면 결국 트래픽(DAU)와 매출이라는 두 가지 최상위 목표로 귀결된다. 얼핏 보면 서로 상관없어 보이는 작업들도 결국 이 상위 메트릭들을 개선하는데 기여하고, 겉보기에 전혀 다른 두 작업조차 상위 메트릭을 기준으로 환원해 비교할 수 있게 된다.
3. 마무리
작업의 임팩트를 예측하는 일은 서비스 개발 과정에 있어 중요한 요소 중 하나이다. 예측 기법을 고도화해 모델의 성능을 개선하는 것도 중요하지만, 가장 핵심적인 것은 '예측 하는 것' 그 자체이다. 작업의 임팩트를 수치화해서 살펴보고, 리소스를 낭비하는 상황이 없도록 하자.
임팩트 예측은 습관화되고 프로세스화 되어야 한다. 분석과 인사이트 도출만큼이나 중요한 작업이다.
'Marketing' 카테고리의 다른 글
| [Newsletter review] Retention is King (0) | 2025.04.01 |
|---|