AI를 플래닝 포커(Planning Poker) 참가자로 활용하여 견적의 논점을 정리하기

이 기사는 제가 자신의 개발 운영에서 시도하고 있는 견적(Estimation) 방식을 AI에게 정리하게 하며 초안을 작성하고 있는 글입니다.

실제로 사용하고 있는 것, 가설, 아직 검증되지 않은 것을 나누어 작성하겠습니다.

AI에게 견적의 답을 내게 하기보다, 플래닝 포커(Planning Poker) 전의 논점 정리 역할로 만드는 것이 더 사용하기 편하다고 느끼고 있습니다.

AI의 숫자를 그대로 채택하는 것은 아닙니다.

제가 보고 싶은 점은 다음과 같습니다.

• 어떤 작업이 무거워 보이는가
• 어디가 미확인 상태인가
• 과거의 어떤 티켓(Ticket)과 유사한가
• AI를 통해 단축될 수 있는 작업과, 단축되기 어려운 작업은 무엇인가

이를 미리 내놓으면, 인간 사이의 견적 대화를 시작하기가 쉬워집니다.

처음에는 이런 식으로 물어보았습니다.

이 티켓을 견적 내주세요.

이렇게 해도 AI는 즉시 3SP와 같은 숫자를 돌려줍니다.

하지만 그 숫자만으로는 곤란합니다.

A: AI는 3SP라고 하는데, 정말로 3로 괜찮을까?

B: 실기 확인(Real device verification)이나 증적(Evidence)도 포함되어 있나? API 측의 변경 사항은 확인했나?

숫자만 나와서는 무엇을 포함한 견적인지 알 수 없습니다.

그래서 AI에게는 처음부터 숫자만 묻지 않도록 했습니다.

지금은 견적 전에 다음과 같은 형태로 출력하도록 하고 있습니다.

요청할 것	확인할 내용
5축 평가	복잡성, 영향 범위, 불확실성, 의존 관계, 테스트의 무게
...

이 시점에서는 AI의 견적을 정답이라고 보지 않습니다.

오히려 AI가 어느 부분을 가볍게 보고 있는지를 확인합니다.

예를 들어, 어떤 화면에 표시 항목을 하나 추가하는 티켓이 있다고 가정해 봅시다.

언뜻 보기에는 가벼워 보입니다.

하지만 실제로는 다음과 같은 확인이 필요했습니다.

• API의 반환 항목이 이미 존재하는가
• 표시 조건이 사용자 상태에 따라 변하는가
• 유사한 화면에도 수평 전개(Horizontal expansion)가 필요한가
• 위젯 테스트(Widget test)나 스냅샷(Snapshot)을 업데이트해야 하는가
• 실기에서 표시 깨짐을 확인할 필요가 있는가
• 증적으로 어떤 패턴을 남길 것인가

이 경우, AI에게는 다음과 같이 출력하게 합니다.

관점	AI의 초안	인간이 볼 것
복잡성	국소 수정으로 보임	수평 전개가 있다면 중간 정도
...

이 표가 있으면 AI의 숫자가 틀리더라도 사용할 수 있습니다.

"어느 부분이 간과되었는가"를 이야기할 수 있기 때문입니다.

저의 운영 방식에서는 SP(Story Point)와 인일(Man-day)을 나누어 취급합니다.

종류	취급
SP	개발, 테스트, 리뷰 대응을 포함한 상대적 사이즈
...

특히 증적은 고정적으로 0.5인일과 같이 설정하면 오차가 생기기 쉽습니다.

정상계(Happy path)만인지, 이상계(Edge case)나 단말 차분까지 확인하는지에 따라 달라지기 때문입니다.

흐름은 단순합니다.

AI의 역할은 마지막에 답을 내는 것이 아닙니다.

처음에 견적에서 논의할 점들을 나열하는 것입니다.

실제로 사용한다면 이 정도 수준에서 시작할 수 있습니다.

이 티켓을 플래닝 포커(Planning Poker)의 초안으로서 정리해 주세요.
출력해 주었으면 하는 것:
- 5축 평가
...

이 방식에도 허점은 있습니다.

팀의 상태나 테스트 기반이 바뀌면 과거의 티켓은 비교하기 어려워집니다.

비교 예시에는 언제의 사례인지, 무엇을 포함한 SP인지, 지금도 사용할 수 있는지를 남겨두는 것이 좋아 보입니다.

AI는 미확정된 사양도 자연스러운 문장으로 보완해 버립니다.

출력에는 「전제」, 「미확인」, 「상향 변동 조건(Upside risk)」을 넣어, 모르는 것을 모르는 채로 남기도록 하고 있습니다.

AI를 사용하면 짧아지는 작업이 있습니다.

다만, 사양 판단, 실기 확인, 증적 취득, 관계자 확인은 남습니다.

그래서 저는 "AI가 있다면 절반"이라고 단정 짓지 않고, 단축되는 작업과 남는 작업을 나누어 보고 있습니다.

이 운영 방식은 견적 대화의 초안으로서는 활용 가능합니다.

다만, 아직 다음 사항들은 측정하지 못했습니다.

• 견적의 편차(Variance)가 어떻게 변했는가
• 실적 공수와의 차이를 볼 수 있는가
• 여러 명이 사용했을 때 납득감이 높아지는가
• AI를 포함한 견적에서 과소평가가 늘어나지 않는가

이 부분은 향후 티켓마다 기록하며 확인해 보고 싶은 부분입니다.

처음에는 이것만으로도 충분하다고 생각합니다.

• 과거 티켓을 소·중·대 규모로 3건 선정한다
• 견적 전에 AI에게 5축 평가와 과거 비교 예시를 출력하게 한다
• 회의 후에 "어느 축이 틀렸는가"만 남긴다

AI에게 정답을 내게 하는 것이 아니라, 인간이 간과하기 쉬운 논점을 먼저 나열하게 한다.

그 정도의 거리감이 플래닝 포커(Planning Poker)에서는 다루기 편하다고 느끼고 있습니다.