PM으로부터 '수주 목록에 CSV 출력을 추가해 달라'는 티켓이 왔다고 가정해 봅시다.
AI 에이전트의 도움으로 반나절 만에 끝났고, 이에 '덧붙여서 필터링과 정렬 기능도 추가할까요?'라는 질문을 받았기 때문에 그것까지 넣어서 출시했습니다.
하지만 이 3가지 기능이 전부 필요했던 것일까요?
- 기능은 만든 후에도 계속 보유해야 하는 부채이며, 게다가 대부분은 사용되지 않거나 효과가 없습니다.
- 아무도 요청하지 않은 기능은 AI의 '덧붙여서'를 포함하여 만들지 않습니다.
- 요청받은 기능이라도 '누구의, 어떤 어려움(Pain Point)을 해결하는 것인지'를 다시 질문하고 가장 작은 형태로 전달합니다.
CSV 출력을 하나 추가한다고 해서, 그 이후 계속 보유해야 하는 것이 이렇게 많이 늘어납니다.
여기서 말하는 부채는 만든 후에도 지속적으로 유지해야 하는 수고로움(노력)을 의미합니다.
테스트나 설명 초안은 AI에게 맡길 수 있기 때문에 하나하나의 부담은 줄었습니다. 그래도 계속 보유해야 하는 것은 기능의 개수만큼 늘어나며, 고장 나지 않았는지 확인하고 판단하는 것은 사람입니다.
그림 (5)의 조합은 기능이 늘어날수록 빠르게 증가합니다.
2개씩으로 계산하면 10개가 45가지 경우의 수이고, 20개가 190가지 경우의 수입니다.
모두가 영향을 주고받는 것은 아니지만, 신경 쓸 가능성의 상한선이 있습니다.
부채를 안고 가더라도 사용되고 효과가 있다면 만들 가치는 있습니다. 하지만 연구를 조사해 보니 실제로는 그렇지 않았습니다.
독일의 재보험 회사에서 약 150명이 사용하는 업무 시스템을 5개월 동안 측정했다는 연구가 있습니다. 측정된 53개 기능 중, 15개 기능(28%)은 단 한 번도 사용되지 않았습니다.
2011년 연구 (ICPC 2011). 하나의 업무 시스템을 5개월간 측정하여 얻은 결과입니다.
놀라웠던 점은, 사용되지 않은 15개 기능 중 11개를 PM, 사내 개발자, 외부 개발자 중 적어도 한 명이 '사용될 것'이라고 생각했다는 것입니다. 만드는/수리하는 사람들에게도 무엇이 사용되지 않을지는 구별할 수 없었습니다.
Microsoft에서 대규모 A/B 테스트(사용자를 2개로 나누어 변경 유무에 따라 결과를 비교하는 방법)를 지속해 온 사람의 강연에서도 비슷한 이야기가 있었습니다.
팀은 도움이 될 것이라 믿고 기능을 만들지만, 대부분의 실험에서 목표 지표를 움직이지 못했다고 합니다.
2015년 강연 (KDD 2015). Microsoft의 대규모 온라인 실험 결과로, Bing 같은 경우 더 낮았다고 합니다.
규모는 완전히 다르지만, 만들어도 효과가 있는지 알 수 없는 것은 수주 목록과 같은 업무용 기능에서도 마찬가지라고 생각했습니다.
사용될지, 효과가 있을지 만들기 전에 구별할 수 없다면, 가장 확실하고 저렴한 방법은 아무도 요청하지 않은 기능을 애초에 만들지 않는 것입니다.
'있으면 편리하다', '간단하게 추가할 수 있다'는 것은 필요의 이유가 될 수 없습니다.
AI의 '덧붙여서 추가할까요?'도 마찬가지입니다. 만드는 노력은 거의 제로라도, 계속 보유하는 노력은 제로가 아닙니다.
판단의 기준은 '누구의, 어떤 어려움을 해결하는지'를 스스로 말할 수 있는지 여부입니다.
| 추가하려는 기능 | 누구의 어려움인지, 스스로 말할 수 있다 | 말할 수 없다 |
|---|
| 요청받지 않은 기능 (AI의 '덧붙여서', 자신의 '있으면 편리함') | PM에게 제안한다 (요청받았다면 아래 줄 참고) | 추가하지 않는다 |
| PM 티켓에 있는 기능 | 4장에서처럼 작게 전달한다 | PM에게 어려움(Pain Point)을 질문한다 |
다만, 많은 사람이 사용하는 제품에서 경쟁사에 따라잡기 위한 기능은 그 자체로 제대로 된 필요가 됩니다.
조사하기 전에는 거절하는 것이 게으른 것처럼 느껴졌습니다. 하지만 사용되지 않는 기능이 많다는 것을 보고, 거절해도 된다고 생각했습니다.
요청은 대부분 'CSV 출력이 필요하다'처럼 해결책의 형태로 도착합니다. 그 이면에 있는 '누구의, 어떤 어려움(Pain Point)을 해결하는지'를 여기서 가치라고 부릅니다.
가치까지 다시 질문하면, 더 작은 해결 방법이 보일 때가 있습니다.
다시 질문할 때는 해결책이 아니라 어려움을 답변받을 수 있는 질문으로 만듭니다.
| 질문 | 목적 |
|---|
| 누가 곤란해하고 있나요? | 사용자를 좁힌다 |
| ... | |
| 2장과 같이, 사용될지 여부는 PM에게도 만들기 전에는 구별할 수 없습니다. | |
따라서 이 질문은 PM을 의심하기 위한 것이 아니라, 함께 확인하기 위한 것입니다. 가치를 알게 되면, 가장 작은 형태부터 먼저 전달하고, 사용되는 방식을 본 후에 다음 것을 만듭니다. 도중에 중단된 것은 코드가 되지 않으므로, 1장의 '지속해야 하는 것'도 늘어나지 않습니다.
앞서 언급된 강연에서도, 빨리 시도하지 않고 계획만으로 완벽한 기능을 만들려고 하지 말라는 교훈이 제시되었습니다.
다음으로 기능 티켓이 오면, AI가 제안하는 '덧붙여서'는 거절한 후, 티켓에 이렇게 답해봅니다.
구현하기 전에 딱 3가지만 확인시켜 주세요.
1. 이 기능으로 어떤 어려움이 해결되나요? 누가 사용하나요?
2. 지금은 그 작업을 어떻게 하고 있나요?
...
제출할 때는, 사용 여부를 알 수 있는 기록을 하나 포함해 놓습니다.
버튼이 눌렸을 때 이벤트를 보내는 한 줄만 AI에게 추가하게 하면 충분합니다.
2주 후에 사용되지 않았다면, 제거 후보로 PM과 논의합니다.
2-1 연구에서도, 사용되지 않는 기능은 관계자와 논의 후 삭제 후보로 하자는 결론이었습니다.
AI에게도 똑같은 것을 규칙으로 전달할 수 있습니다.
## 기능을 추가할 때
- 요청받지 않은 기능을 '덧붙여서' 제안하지 않기
- 기능을 추가하기 전에, 누구의 어려움인지, 현재는 어떻게 하고 있는지, 가장 작은 형태로 작성하여 제안하기
...
초반 예시라면, 필요했던 것은 아마 하나였고, 그것도 가장 작은 형태가 좋았을지도 모릅니다.
조사해 보니 가장 의외였던 점은, 사용되지 않은 기능의 상당 부분을 PM이나 개발자가 '사용될 것'이라고 생각했다는 것이었습니다.
만들기 전에 가설을 세울 수 없다면, 만들지 않거나 작게 전달하여 확인하는 편이 확실합니다.
제출한 개수보다, 만들지 않아도 된 개수를 세고 싶어졌습니다.