들어가면서…
안녕하세요. 현재 저는 패션 플랫폼 회사에서 데이터 분석가로 재직하고 있습니다. 최근에는 실질적으로 비즈니스 문제를 풀 수 있는 데이터 분석, ML 모델 도입 및 고도화에 관심을 가지고 재밌게 일을 하고 있는데요. 이번 포스팅은 추천 시스템 및 비즈니스 로직과 연결된 프로덕트 데이터 분석을 같은 팀원분과 함께 진행한 내용입니다.
AARRR 프레임워크를 패션 커머스 플랫폼에 적용한 결과를 통해 가설을 세울 수 있었고 해당 가설을 메인 페이지 내 A/B 테스트를 통해 검증하였습니다. 실질적인 데이터 분석을 통한 가설 도출과 검증을 시도했던 과정을 공유해요.
E-commerce Flow
앞의 문서에서 언급한 E-commerce Flow를 다시 한번 살펴보면 다음과 같습니다.
위 과정에서 고객을 만족시키고 쇼핑 경험을 최적화할 수 있는 과정은 다음과 같습니다.
- 방문
- 네비게이션(탐색) / 검색 / 추천 엔진
- 장바구니 / 상품 추가 / 전환
- 물류 및 지연 최소화
그리고 패션 플랫폼은 크게 아래와 같이 세 가지 축으로 구성됩니다.
- 세 축은 각각 {상품, 고객, 셀러}를 의미합니다.
- 고객과 셀러는 상품으로 연결됩니다.
- 현재 회사 내 각 축을 담당하는 여러 팀들이 존재합니다.
이와 같이 일반적으로 개별적인 팀 단위로 과업을 결정하고 지표를 선별할 경우가 많은데요. 다만 그럴 경우 팀별로 진행하는 업무의 변화와 모니터링하는 지표가 수시로 변경될 수 있습니다.
위의 주요 지표를 팀간 지표로 배분하여 개별적으로 관리하는 것이 아니라 고객의 서비스 이용 흐름에 따라 주요한 단계별 지표를 정의하고 관리해야 합니다. 그래서 주요한 단계별 지표를 AARRR 프레임워크를 통해 추적하고 확인했습니다.
AARRR Framework
고객 유치(Acquisition), 활성화(Activation), 리텐션(Retention), 수익화(Revenue), 추천(Referral)의 카테고리로 분류합니다.
각 카테고리의 의미는 다음과 같습니다.
- 고객 유치(Acquisition) : 고객들을 어떻게 데려올 것인가?
- 고객 활성화(Activation) : 고객들은 서비스의 핵심 기능을 잘 사용하는가?
- Retention : 고객들은 서비스에 지속적으로 방문하는가?
- Revenue : 고객들은 서비스의 핵심 기능을 사용하기 위해 결제하는가?
- Referral : 고객들은 서비스를 지인들에게 소개, 추천하는가?
AARRR을 활용하기 위해서는 네 단계의 숙고 과정이 필요합니다.
- 각 단계별 풀어야 할 문제를 정의합니다.
- 각 단계별 핵심이 되는 주요 지표를 선정하고, 해당 지표의 현재 수준을 측정합니다.
- 측정된 지표가 가지고 있는 의미를 이해합니다.
- 개선해야 하는 목표 수준을 정하고, 실험을 통해 단계적으로 개선합니다.
Acquisition
Acquisition(고객을 어떻게 유입시킬까?)은 주로 마케팅 조직에서 담당하고 있습니다. 현재는 마케팅 관련 내부 데이터 프로덕트로 “유입 채널 트래킹 프로덕트"가 존재합니다. 해당 프로덕트를 통해 고객 유치에 기여한 {채널, 캠페인, 소재}의 성과를 객관적으로 확인하고 있습니다.
다만 무제한의 예산을 집행할 수 없으므로 채널, 캠페인, 소재의 최적화와 예산 분배가 필요합니다. 이에 따라 Attribution Model의 고도화와 예산 분배를 목적별로 최적화할 수 있는 모델이 추가적으로 필요합니다.
Revenue
해당 포스팅에서 마케팅 조직에서 주로 관리하고 개선해야 하는 “Acquisition” 및 “Referral”은 제외합니다. 그리고 프로덕트 개선 및 고도화 측면에서 “Activation”과 “Retention”에 초점을 맞추어 데이터 분석을 진행하였습니다.
이커머스에서 고객의 최종 목적과 맞닿아 있는 구매 행위를 먼저 살펴보았습니다. 구매 행위와 거시적으로 연결된 거래액, 구매 횟수, 그리고 패션 업계 특유의 계절성을 고려한 YoY 비율을 확인하면서 Revenue 관련 지표의 추세를 확인할 수 있었습니다.
그리고 고객의 Coupon Play를 재구매 확률 기반으로 최적화하면서 구매에 관한 Retention을 간접적으로 알 수 있었는데요. 재구매 확률 로직은 다음과 같습니다.
- Train set / Valid set / Test set을 구분합니다.
- 각 데이터셋은 1년을 학습하고 한달 동안 구매할지 여부를 예측하도록 설계됩니다.
- 자연스럽게 특정 시점 기준 1년 간 구매한 고객의 수를 알 수 있는데요.
재구매 확률 로직의 메타 정보(1년 간 구매한 고객의 수)를 매일 추출 및 확인하면서 구매를 진행하는 고객의 절대수의 추이의 이상을 알 수 있었습니다.
Activation & Retention
가장 중요한 지표의 점진적인 감소 현상을 발견한 뒤 데이터를 활용하여 프로덕트 자체를 뜯어 보았습니다.
AARRR의 창시자인 맥클루어는 다음과 같이 말합니다.
중장기적으로 보면 고객이 핵심 기능을 잘 사용하고(Activation ⬆️), 지속적으로 방문할수록(Retention ⬆️) 거래액 및 매출액은 증대됩니다.
현재 제가 속한 회사는 최적의 쇼핑 경험을 고객에게 제공하여 상품을 파는 것이 중요합니다. 다만 제가 데이터를 통해 발견한 현상은 특정 정책이 진행한 이후 고객의 활동성 지표(Activation, Retention)가 감소하고 있었습니다. 저는 “추천 조닝에 적용되는 특정 정책이 고객의 Activation, Retention, 그리고 Revenue에 어느 정도 영향을 주는지, 그리고 그 영향을 커머스 플랫폼에서 어떻게 조정할지” 궁금했습니다.
서비스를 진입할 때부터 핵심 가치를 경험할 때까지의 경로를 시각화 하면 다음과 같습니다.
Critical Path에서 고객의 최종 목적(구매 행위)까지 반드시 거쳐야 하는페이지는 상품 상세 페이지(PDP Page)인데요. 해당 상세 페이지에서 두 추천 조닝이 아래와 같이 고객에게 전시되고 있습니다.
위의 두 조닝에는 같은 추천 모델(Item2Vec) 기반으로 UX/UI상의 차이가 없이 고객에게 상품들이 전시되고 있습니다. 다만 비즈니스 로직이 마지막 데이터 후처리 단계에서 추가됩니다. 해당 데이터 분석의 목적은 다음과 같습니다.
특정 비즈니스 로직이 고객의 Activation, Retention, Revenue에 어느 정도 영향을 주는가? 그리고 그 영향을 커머스 플랫폼에서 어떻게 조정할까?
고객의 쇼핑 여정에서 굉장히 중요한 상품 상세 페이지 내 위의 두 가지 조닝은 특정 비즈니스 로직의 유무에 따른 순수한 차이를 알 수 있는 귀중한 사례입니다.
- 고객의 반응을 직접적으로 알 수 있는 온사이트 지표인 CTR을 3개월 동안 추적한 결과 약 2.7배 이상의 차이를 발견할 수 있었습니다.
- 그리고 Last Click 기준으로 어트리뷰션 터치 타임을 일주일로 산정할 때 특정 비즈니스 로직이 들어가지 않은 조닝이 들어간 조닝에 비해 2.2배 이상의 거래액을 발생시켰습니다.
앞에서는 상품 상세 페이지 내 특정 조닝들을 비교해 보았습니다. 다음으로 상품 상세 페이지로 진입하는 비율 자체를 살펴보았습니다. 고객의 최종 목적인 구매의 중요한 길목인 PDP의 접근 횟수가 낮을 수록 고객은 상품에 저관여하는 것입니다. 안타깝게도 Daily 기준 고객에 PDP에 한번만 접근한 비율은 특정 정책 이후 높아지는 것을 확인할 수 있습니다.
상품 상세 페이지와 더불어 장바구니 페이지, 검색 페이지와 같은 주요 페이지 내 고객의 활동성 지표와 구매 및 DAU Retention, Bounce Rate을 확인하고 뚜렷한 경향을 발견할 수 있었습니다.
그래서 저는 추가적으로 다음과 같은 질문이 떠올랐습니다.
Critical Path상 PDP만큼 중요한 메인 페이지 내 비즈니스 로직 효과가 고객의 쇼핑 경험의 어느 단계까지 영향을 미칠까?
Main Page Optimization
메인 페이지의 특성
특정한 마케팅 캠페인으로 인한 랜딩을 제외하고 대부분의 고객의 첫번째 앱의 랜딩 페이지는 메인 페이지인데요. 그래서 검색 페이지와 더불어 고객이 가장 많이 찾는 곳(트래픽이 높아요!)입니다.
상품 상세 페이지와 다르게 메인 페이지 같은 경우는 다양한 UI/UX 형태로 고객에게 상품 및 정보를 취합하여 보여주고 있습니다.
메인 페이지에서 배너 형태의 기획전과 퀵 메뉴 이후 본격적인 추천 상품들이 다음과 같이 노출됩니다.
배너 및 퀵 메뉴 이후의 메인 페이지 내에는 이미 모든 조닝에 비즈니스 로직이 적용이 된 상태입니다. 그래서 저는 메인 페이지 내에 비즈니스 로직 효과가 고객의 쇼핑의 경험에 어느 단계까지 영향을 미치는지 알고 싶었습니다. 그래서 유관 부서를 위의 데이터들을 취합하여 설득한 후 A/B 테스트를 진행하였습니다.
Compositional Learning
위의 이미지는 아이폰 Siri가 인간과 대화할 때 처리하는 로직을 시각화한 것인데요. 음성 데이터 처리의 최종 목적은 인간과의 원활한 소통 및 정보 제공입니다. 이 때 데이터 처리는 크게 세 파트(Chitchat, Information Retrieval, Action)으로 이루어지고 있음을 확인할 수 있습니다.
높은 정확도와 모델의 추론 속도를 위해서 Compositional Model에서 태스크를 분별하는 네트워크 모델(Task Distributor Neural Network)를 도입합니다.
반면에 이커머스는 음성 인식 태스크와 다르게 단계가 명확하게 구분되어 있어 Task Distributor Network를 규칙 기반의 로직으로 대체할 수 있습니다.
그래서 구매를 최종 목적으로 할 때 추천 태스크에 대한 Compositional Learning 구조를 위의 이미지와 같이 표현할 수 있습니다. 이 때 Compositional Learning 내 메인 페이지의 가장 중요한 역할은 상품 상세 페이지의 진입 및 고객의 찜을 유도하는 것입니다.
Experiment
고객의 앱에 입장하여 자신의 맥락에 맞는 쇼핑 경험을 한 가지 추천 모델로 최적화하는 것은 매우 어렵습니다. 그래서 Compositional Learning 개념을 차용하여 조닝의 성격에 맞는 ML 모델을 도입하여 고객에게 상품을 전시하고 있습니다.
실험 집단 및 통제 집단에 적용된 추천 모델은 같고 다른 모든 조닝은 동일한 추천 로직으로 고객에게 상품이 전시되도록 설계하였습니다. 다만 데이터 후처리 단계에서 특정 비즈니스의 로직 추가 유무를 실험집단과 통제집단에 다르게 적용하였습니다.
현재 메인 페이지 내 상품 추천 조닝은 크게 두 파트로 구성되어 있습니다. 두 파트에 추천 로직은 공통적으로 Transfomer 기반의 모델이 적용됩니다.
위의 트랜스포머를 구성하는 블록들 중에서 Encoder 블록 부분을 차용한 추천 모델이 적용됩니다.
결국 고객의 시퀀스 정보를 활용한 위의 모델은 “고객이 다음에 볼 가능성이 높은 상품들을 출력할 가능성”이 높은데요. 실험 집단과 통제 집단이 발생시키는 Implicit 데이터를 구분하지 않고 학습하므로 기본적인 모델의 상품 출력은 동일합니다. 하지만 최종 출력 단계에서 데이터 후처리(비즈니스 로직)가 통제 집단에만 적용됩니다.
앞에서 언급한 Compositional Learning상 고객에게 다음 쇼핑의 경험(상품을 찜 또는 상품 상세 페이지 진입)을 성공적으로 시키는 것이 메인 페이지의 본연의 역할입니다. 실험 결과 Offline 지표(Recall@k, Precision@k, MAP)에서 실험집단이 통제집단에 비해 유의미한 차이를 만들었습니다. 그리고 두 조닝 모두에서 Online 지표(CTR, CVR)도 의미있는 차이를 발견할 수 있었는데요. 즉 고객의 Activation이 개선되면서 Revenue의 증대를 확인하였습니다. 다만 실험을 진행한 조닝에서 발생시킨 거래액은 압도적으로 높았지만 다른 조닝에서 통제 집단과 실험 집단 간의 거래액이 상당 부분 상쇄되었습니다.
위와 같은 상황에서 현재 저는 다음과 같은 새로운 질문에 직면했습니다 :
“비즈니스 로직으로 인한 회사의 수익화와 메인 페이지를 포함한 추천 시스템 본연의 역할(고객이 편하게 취향에 맞는 상품을 찾게 해주는 것!) 사이를 어떻게 조율해야 할까?”
이 질문의 답을 찾기 위해 먼저 메인 페이지의 비즈니스 로직 제거로 인한 고객의 행동 패턴의 변화 양상을 파악하고자 합니다. 그리고 변화된 양상에 맞는 비즈니스 로직을 적용하는 것이 중요합니다.
