안녕하세요. 토스뱅크 Product Designer 전누리예요. 이번 글에서는 인턴으로 토스에 합류해 처음으로 실험을 설계했던 경험을 공유해보려고 해요.

제가 맡은 첫 과제는 토스뱅크 비회원의 가입 전환율을 높이는 것이었어요. 처음 실험을 설계해야 했던 저는 세 가지가 가장 어려웠어요.

1️⃣ 이탈이 큰 구간이 여러 개인데, 어디부터 개선해야 할까? 2️⃣ 이미 많은 실험이 진행되었는데, 나는 뭘 더 할 수 있을까? 3️⃣ 가설을 어떻게 세워야 흔들리지 않을까?

이 세 가지 고민을 어떻게 풀었는지 순서대로 이야기해 볼게요.

1) 어디부터 개선할까? - 속도 x 임팩트로 계산하기

가장 먼저 비회원 가입 퍼널 중 어디에서 가장 많이 이탈하는지 데이터를 살펴봤어요. 크게 3가지 구간이 있었어요. 인트로, 동의화면, 신분증 인증 화면이었죠.

처음엔 어디부터 건드려야 할지 막막했어요. 그래서 주변 디자이너 분들께 조언을 구했어요.

동의 화면, 신분증 인증 화면은 공통 모듈 성격이 강했고, 리걸/컴플라이언스 검토가 필요했어요. 빠르게 실험하고 반복하기 어려운 영역이었어요.

반대로 인트로 화면은 비교적 빠르게 실험할 수 있었고, 첫 유입을 키우는데 크게 영향을 줄 수 있는 화면이었죠. 전체 전환율에 더 큰 영향을 줄 수 있겠다고 생각해서 인트로로부터 개선하기로 했어요.

2) 쌓여 있는 러닝에서 배우기

바로 시안을 만들지 않고, 먼저 과거 실험을 살펴봤어요. 이미 다양한 시도가 있었고, 기존 화면을 명확히 이기지 못한 안도 많았죠.

처음엔 “이미 다 해본 거 아닌가?” 싶었지만, 오히려 그 과정에서 많은 걸 배웠어요. 다른 디자이너들이 어떤 가설을 세우고, 어떤 기준으로 실험했는지 정리하며 위닝 패턴과 실패 패턴을 빠르게 흡수할 수 있었거든요.

제가 개선하려는 화면과 유사한 사례뿐 아니라, 맥락이 다른 화면의 실험도 함께 봤어요. 문제 정의 방식과 가설 구조는 충분히 참고할 수 있다고 생각했기 때문이에요.

단순히 승패만 보지는 않았어요. 어떤 문제에서 출발했는지, 왜 그런 가설을 세웠는지, 검증을 위해 실험안을 어떻게 설계했는지에 더 집중했죠. 같은 가설도 맥락에 따라 다른 결과가 나올 수 있다고 봤기 때문에, 수치보다 ‘왜’에 집중하며 제 화면에 적용할 지점을 고민했어요.

이 경험을 통해, 실험 경험이 적을수록 새로운 아이디어를 빠르게 내는 것보다 기존 러닝을 구조적으로 읽는 시간이 더 중요하다는 걸 느꼈어요.

3) 가설 잘 세우기 - 한 번에 하나만 검증하기

여러 실험 중, 몇 가지만 공유할게요.

첫 실험: 상담원 + 선택지

실험안 화면 (variant)

첫 번째 실험은 상담원 컨셉이었어요. 상담원이 추천하는 것처럼 구성하고, 선택하기 쉽도록 적은 수의 혜택을 보여주면 전환율이 높아질 것이라고 생각했죠. 결과는 실패였어요. 클릭률은 10% 이상, CVR은 3% 이상 하락했죠.

돌아보니 가설이 모호했더라고요. “선택지가 적으니까 전환율이 상승할 거야”라고 했지만, 오히려 기존안이 선택지가 더 적었던 거예요. CTA 버튼이 하나였거든요. 버튼만 두 개가 된 셈이죠.

이 화면에 들어온 사용자가 왜 왔는지, 실제로 추천이 필요한 상황인지 충분히 고려하지 못했어요. 기존 화면과 사용자 맥락을 깊이 보지 않은 채 가설부터 세운 거죠. 그러다 보니 시안을 만드는 과정에서 가설이 흔들렸고, 피드백에도 쉽게 휘둘렸어요.

그때부터 원칙을 바꿨어요. 화면을 만들기 전에, 기존 화면의 맥락을 충분히 분석한 뒤 가설을 세우기로 했어요.

두 번째 접근: 이미 있는 문제를 명확히 하기

다음으로 완전히 새 시안을 만들기보다 기존안의 문제를 명확히 짚어보기로 했어요.

기존 비회원 홈 인트로 화면

크게 두 가지 문제가 있었어요.

1️⃣ 문구가 매력적으로 느껴지지 않았어요. 실제로 유저가 관심 있어하는 지점이 잘 드러나지 않았어요. 2️⃣ 이미지 로딩 속도가 너무 느렸어요. 특히 저사양 기기에서는 이미지가 뜨는 데 2~3초 정도 걸렸어요.

이전 실험 러닝을 참고해 사용자가 반응하는 가치를 살펴봤어요. 고금리 상품, 매일 이자 받기 등의 키워드가 유효하다는 것을 알았고, 이를 반영해 개선안을 만들었죠.

이미지도 당시 사용하던 최신 그래픽을 반영하고 저용량 확장자를 사용해 로딩 속도를 줄였어요.

결과는 어땠을까요? 문구와 이미지만 바꾼 건데도 클릭률과 전환율 모두 상승했어요. 처음으로 유의미한 개선을 만들어낸거죠. 명확한 문제에서 출발한 가설은 실험의 방향을 흔들리지 않게 만들어준다는 점을 느낄 수 있었어요.

세 번째 실험: 유저가 장면을 상상하게 하는 문구

이전 실험에서 유저가 관심 있어 하는 내용으로 문구를 바꾸면 CTR과 CVR 모두 개선된다는 것을 확인했어요. 이 러닝을 바탕으로, 유저가 구체적인 상황을 상상할 수 있는 표현을 써보기로 했죠.

이전에는 '하루만 넣어둬도 이자 받을 수 있어요'처럼 기능을 설명하는 방식이었다면, 이번에는 유저가 가장 빠르게 이익을 체감할 수 있는 상황을 먼저 보여줄 수 있도록 바꿨어요.

문구 개선만으로 CTR은 5% 상승하고, CVR도 유의미하게 올랐어요. 같은 내용이라도 표현 방식에 따라 유저가 받는 첫인상이 크게 달라진다는 점을 체감했고, 화면에 노출되는 모든 요소를 더 세심하게 고민해야 한다는 걸 알게 되었어요.

마치며

이 글에는 몇 개의 사례만 썼지만, 실패한 실험이 훨씬 많았어요.

돌이켜보면, 결과보다는 가설을 얼마나 명확하게 세웠는지가 중요하더라고요. 가설이 뾰족할수록 방향성이 흔들리지 않았고, 실패한 실험도 다음 실험을 설계하는 데 중요한 힌트가 됐어요. 실험은 성공 여부를 확인하는 과정이 아니라, 다음 선택을 더 빠르고 명확하게 만들기 위한 과정이었어요.

인턴이던 저에게 실제 문제를 맡기고 함께 고민해 준 환경, 그리고 팀 안팎에서 러닝을 적극적으로 공유해 준 문화가 큰 힘이 됐어요.

그 경험 덕분에 지금은 하나의 영역을 맡아 스스로 판단하고 선택할 수 있게 됐죠.

실험 설계가 처음이라면, 거창한 해답부터 찾지 않아도 괜찮아요. 작게 시작하되, 가설만큼은 선명하게 세워보세요.

신입 디자이너를 위한 실험 설계 체크리스트

실험이 처음이라면, 이렇게 시작해 보세요.

1. 퍼널을 쪼개고 속도 × 임팩트 기준으로 우선순위를 정해요.
2. 기존 맥락을 충분히 이해한 뒤, 해결할 핵심 문제를 정의해요.
3. 러닝은 수치보다 가설과 문제 정의 중심으로 참고해요.
4. 명확한 가설과 성공 지표를 먼저 설정해요.
5. 가설이 잘 드러나도록 실험안을 설계해요.