실제로 효과가 있는 AI 지원 요구사항 워크플로우

지난 2년 동안 비즈니스 분석가(BA)들이 AI 도구를 도입하는 것을 지켜보며 한 가지 패턴을 발견했습니다. AI를 단순히 더 빠른 수락 기준(Acceptance Criteria, AC) 생성기로 사용하는 사람들은 더 빠르게 잘못된 요구사항을 만들어냅니다. 반면, AC를 작성하기 전에 AI를 사고 파트너(Thinking Partner)로 사용하는 사람들은 흥미로운 결과물을 만들어냅니다. 동일한 도구를 사용하지만, 결과는 정반대입니다.

이 글은 두 번째 결과물을 만들어내는 워크플로우에 관한 것입니다. 이는 이론적인 것이 아닙니다. 제가 존경하는 BA들이 새로운 이해관계자(Stakeholder)의 요청을 받고 Claude 또는 ChatGPT 창을 열었을 때 실제로 수행하는 방식입니다.

순서대로 세 단계가 있습니다. 각 단계에는 AI가 잘하는 명확한 영역과 잘하지 못하는 명확한 영역이 있습니다.

1단계: AI를 반대자로 활용한 이해관계자 심문

이해관계자의 요청이 접수된 후 첫 한 시간은 전체 요구사항 프로세스에서 가장 레버리지가 높은 시간입니다. 하지만 대부분의 BA는 이 시간을 건너뜁니다. 요청이 "명확하게 느껴지기" 때문에 바로 범위를 산정(Scoping)하고 싶은 유혹에 빠지기 때문입니다.

이 단계에서 AI의 역할은 반대자(Opposition)가 되는 것입니다. 요청 내용을 그대로 붙여넣고 다음과 같이 질문하십시오: "이 요청을 적대적인 검토자로서 읽어주세요. 명시되지 않은 것은 무엇인가요? 어떤 모순이 숨어 있나요? 이해관계자가 이름 붙이지 않은 채 전제하고 있는 가정은 무엇인가요?"

모델은 목록을 생성할 것입니다. 목록의 대부분은 틀렸거나 사소할 것입니다. 하지만 두세 가지 항목은 진짜일 것입니다. 그것들이 바로 범위를 산정하기 전에 이해관계자에게 가져가야 할 질문들입니다.

이것이 레버리지가 높은 이유는 대안, 즉 BA가 스스로 동일한 질문을 생성하는 방식은 BA가 충분히 휴식을 취하고, 집중하고 있으며, 지난달의 유사한 요청과 패턴 매칭(Pattern-matching)을 하지 않는 상태인지에 달려 있기 때문입니다. AI는 그러한 제한이 없습니다. AI는 매번 동일한 방식으로 심문하며, 이것이 바로 반대자에게 기대하는 바로 그 모습입니다.

이 단계에서 AI가 못하는 것: AI는 두세 가지의 실제 질문 중 어떤 것이 이 조직에서, 이 이해관계자와 함께, 이번 분기에 실제로 중요한지를 알려줄 수 없습니다. 그 판단은 당신의 몫입니다.

1단계의 결과물(artifact)은 이해관계자에게 가져갈 3~5개의 짧은 질문 목록입니다. 요구사항 문서(requirements document)가 아닙니다. 질문들입니다.

2단계: AI를 완전히 배제한 이해관계자와의 대화

이 단계는 제가 목격한 워크플로우(workflows) 중에서 AI가 가장 많은 피해를 주는 단계입니다.

이해관계자와의 대화에 AI를 끌어들이고 싶은 유혹이 생깁니다. 회의를 녹음하고, 전사된 텍스트(transcript)를 모델에 붙여넣어 요약을 요청합니다. 혹은 더 나쁘게는, 이해관계자가 말하는 동안 모델이 실시간으로 요구사항 초안을 작성하게 합니다.

이는 대화를 망가뜨립니다. 이해관계자는 설령 동의했을지라도 감시당하고 있다는 느낌을 받습니다. 비즈니스 분석가(BA)는 모델의 출력물을 읽느라 경청을 멈춥니다. 대화에서 도출되는 질문들은 인간 중심이 아닌 AI 중심의 형태를 띠게 됩니다. 이는 질문들이 모델이 이전에 학습했던 데이터와 패턴 매칭(pattern-match)을 하게 된다는 것을 의미하며, 결과적으로 이 조직만의 고유한 상황들을 놓치게 된다는 것을 의미합니다.

해결책은 냉혹합니다. AI는 회의실에 들어오지 않습니다. BA는 노트를 작성하고, 1단계에서 준비한 질문을 던지며, 답변을 경청하고, 들은 내용을 바탕으로 후속 질문을 던집니다. 그리고 명확한 노트 세트와 다소 모호한 인상(impressions)을 남긴 채 회의를 마칩니다.

그 인상이 바로 가치 있는 부분입니다. 노트는 어떤 회의에서든 재구성할 수 있습니다. 하지만 인상은 오직 현장에 있는 인간만이 포착할 수 있습니다.

2단계를 마친 후 당신이 갖게 되는 것: 수기로 작성하거나 타이핑한 노트, 이해관계자가 내렸거나 유보한 결정 목록, 그리고 이해관계자가 아직 말할 준비가 되지 않은 부분에 대한 당신만의 인상입니다.

3단계: 합성(Synthesis), 빠른 초안 작성을 위한 AI 활용

이 단계가 대부분의 BA가 AI를 사용하기 시작하는 지점입니다. 사고 과정이 이미 완료되었기 때문에, AI가 가장 유용하면서도 가장 덜 위험한 단계입니다.

노트를 모델에 붙여넣으세요. 문제 정의(problem statement), 범위(scope), 수락 기준(acceptance criteria), 미결 질문(open questions)과 같이 구조화된 초안을 생성하도록 요청하세요. 모델은 당신이 40분이 걸렸을 작업을 단 2분 만에 사용할 수 있는 수준으로 만들어낼 것입니다.

그다음은 종합 (synthesis) 단계의 실제 작업이 이어집니다. 당신은 초안을 읽으며 모든 문장에 대해 스스로에게 질문해야 합니다: "나는 이것을 믿는가?" 초안이 정확한 부분은 그대로 둡니다. 초안이 틀린 부분은 수정합니다. 초안에 중요한 내용이 빠져 있다면 그것을 추가합니다.

초안은 요구사항 정의서 (requirements document)가 아닙니다. 초안은 당신이 요구사항 작업을 수행하기 위한 비계 (scaffold)입니다.

대부분의 비즈니스 분석가 (BA)들은 초안 단계에서 멈춥니다. 그들은 문장을 다듬고, 형식을 수정하고, 그대로 배포합니다. 그것은 더 빠르게 잘못된 요구사항을 만들어내는 실패 모드 (failure mode)입니다. 훈련된 방식은 초안을 편집해야 할 완성된 결과물 (artifact)이 아니라, 당신이 평가해야 할 의견이 담긴 제안서 (opinionated proposal)로 취급하는 것입니다.

3단계에서 AI가 못하는 것: AI는 실제 운영 트래픽 (production traffic)이 기능에 도달했을 때 어떤 수용 기준 (acceptance criteria)이 실패할지 말해주지 못합니다. 어떤 이해관계자 (stakeholder)가 그 용어에 반대할지, 그리고 그 이유는 무엇인지 말해주지 못합니다. 문서에 암시된 타임라인이 이 팀에게 현실적인지도 말해주지 못합니다. 그것들은 당신의 판단 (judgement calls) 영역입니다.

절대 위임해서는 안 될 세 가지

세 단계 모두에 걸쳐, AI에게 절대 요청해서는 안 될 세 가지가 있습니다. 각각은 제가 반복해서 목격해 온 실제 실패 모드에서 비롯되었습니다.

요구사항이 존재해야 하는지 여부에 대한 결정은 절대 위임하지 마세요. AI는 조직의 정치 (organisational politics), 실패했던 이전의 시도들, 또는 전략적 트레이드오프 (strategic tradeoffs)에 접근할 수 없기 때문에 이 질문에 도달할 수 없습니다. AI는 항상 해당 요구사항이 유효하다고 가정하는 초안을 생성할 것입니다. 당신의 역할은 그것이 정말 유효한지 의문을 제기하는 것입니다.

이해관계자에 대한 파악을 절대 위임하지 마세요. 이해관계자가 "금요일까지 이것이 필요합니다"라고 말했을 때, 그들은 말 이면에 담긴 무언가를 전달하고 있는 것입니다. 상부의 압박일 수도 있고, 정치적 신호 (political signalling)일 수도 있으며, 진정한 긴급함일 수도 있습니다. AI는 그 신호를 읽을 수 없습니다. 당신이 반드시 읽어내야 합니다. 그렇지 않으면 당신이 만든 요구사항은 기술적으로는 정확하지만 정치적으로는 틀린 것이 될 것입니다.

반대의 언어를 절대 위임하지 마십시오. 요구사항이 잘못되어 보이고 이해관계자(Stakeholder)에게 반대 의견을 내야 할 때, 사용하는 단어는 AI가 따라올 수 없는 수준의 구체성을 가집니다. 잘못된 표현으로 반대하면 적을 만들게 되지만, 올바른 표현은 아군을 만듭니다. AI가 초안을 작성한 반대 언어는 일반적인 전문적 예의(Professional politeness)를 갖추는 경향이 있는데, 이는 거만하거나 회피적인 느낌을 줄 수 있습니다. 당신만의 언어로 직접 작성하십시오.

이 워크플로우의 비용

이 워크플로우는 "요청을 AI에 붙여넣고, 수락 기준(Acceptance Criteria, AC)을 얻어, 배포하는" 방식보다 요구사항당 약 1시간 정도 더 느립니다. 하지만 AI를 사용하지 않는 방식보다는 요구사항당 약 3시간 정도 더 빠릅니다. 결과적으로 2시간을 절약할 수 있으며, 현실과의 생산 단계(Production) 접점에서 살아남을 확률이 약 두 배 높은 요구사항을 얻게 됩니다.

중요한 것은 절약된 2시간이 아닙니다. 핵심은 이 워크플로우를 실행하는 비즈니스 분석가(Business Analyst, BA)가 1년에 걸쳐 정교하게 조정된 안목(Calibrated taste)을 기르게 된다는 점입니다. 그들은 1단계에서 모델이 어떤 질문을 끌어내고 어떤 질문을 놓칠지 보기 시작합니다. 2단계가 잘 진행되고 있는지, 아니면 이해관계자가 단순히 보여주기식 행동을 하고 있는지에 대한 감각을 익히기 시작합니다. 3단계에서는 모델이 어떤 종류의 수락 기준(Acceptance criteria)을 정확히 짚어내고, 어떤 것을 지속적으로 틀리는지 인식하기 시작합니다.

이러한 조정(Calibration) 능력이 바로 자산입니다. 요구사항 작성 속도가 빨라지는 것은 부수적인 효과일 뿐입니다.

중요한 프레이밍(Framing)

AI는 전동 공구와 같습니다. 전동 공구는 숙련된 장인을 더 생산적으로 만들지만, 미숙한 작업자를 더 위험하게 만듭니다. 목수가 한 시간 만에 캐비닛을 조립할 수 있게 해주는 것과 똑같은 드릴이, 미숙한 사용자에게는 한 시간 만에 나무를 쪼개고 나사를 잘못된 각도로 박게 만들 수도 있습니다.

요구사항 작업도 동일한 역학을 가집니다. AI 도입 전부터 이미 강력한 직관을 가졌던 BA들은 이제 기계적인 작업을 처리하는 도구 덕분에 그 직관이 배가됩니다. 반면, 직관을 기르지 못했던 BA들은 이제 더 많은 잘못된 요구사항을 더 빠르게 만들어내며, 조직은 프로젝트가 실패할 때까지 이를 생산성으로 오해하게 됩니다.

위의 워크플로우가 그 차이점입니다. AI가 영향력(leverage)을 발휘할 수 있는 곳에 사용하십시오. 영향력이 없는 곳에서는 멀리하십시오. 그 차이를 구분할 수 있게 해주는 교정(calibration) 능력을 구축하십시오. 왜냐하면 5년 뒤에는 그 교정 능력만이 이 직업에서 여전히 희소한 유일한 가치가 될 것이기 때문입니다.