대부분의 기업용 AI 파일럿(pilot)은 동일한 이유로 중단됩니다. 바로 실제 운영 팀과의 접점에서 살아남기 위해서가 아니라, 운영 위원회(steering committee)에 깊은 인상을 주기 위해 구축되었기 때문입니다. 파일럿은 모델이 무언가를 할 수 있다는 것을 증명합니다. 하지만 프로덕션(production) 단계에서는 사람들이 일하는 방식을 바꿔야 하고, 압박 속에서도 결과물이 신뢰할 수 있어야 하며, 시스템이 기존 파이프라인(pipeline)에 부합해야 합니다. 이것들은 조직적이고 아키텍처적인(architectural) 문제이지, 모델의 문제가 아닙니다. 더 나은 모델이라고 해서 이 문제들을 해결해주지는 않습니다.

데모의 함정 (The demo trap)

파일럿은 단 한 번의 인상적인 실행으로 평가받습니다. 반면 프로덕션은 평범한 천 번째 실행으로 평가받습니다. 데모에서 승리하는 기술(영리한 프롬프트(prompt), 엄선된 예시)은 바로 일반화(generalise)되지 않는 기술들입니다. 파일럿을 결승선으로 취급한다면, 일상적인 사용으로 가는 격차가 데모로 가는 격차보다 훨씬 더 넓다는 사실을 깨닫게 될 것입니다.

프로덕션에 실제로 필요한 것

모델 업그레이드가 제공할 수 없는 세 가지 요소가 있습니다:

• 파이프라인에 부합하는 아키텍처 (Architecture that fits your pipeline): AI는 사람들이 이미 사용하고 있는 저장소(repos), 리뷰 프로세스(review process), 티켓 흐름(ticket flow) 안에 존재해야 합니다. 별도로 덧붙여진(Bolted-on) 도구들은 결국 버려지게 됩니다.
• 가드레일(Guardrails) 및 평가 (evaluation): 사람이 모든 줄을 일일이 재확인하지 않아도 결과물이 신뢰할 수 있어야 합니다. 이는 평가(evals), 리뷰 관행, 그리고 명확한 실패 모드(failure modes)를 의미합니다.
• 팀의 업무 방식 변화: 채택(Adoption)은 행동의 변화입니다. 의도적인 지원(enablement) 없이는, 사람들이 바빠지는 순간(언제나 그렇듯) 다시 예전 방식으로 돌아가게 됩니다.

중단 단계를 극복하는 방법

샌드박스(sandbox)가 아니라 실제 업무가 이루어지는 곳에서 시작하세요. 실제 프로젝트를 선정하고, AI를 실제 워크플로(workflow)에 내장하며, 놀라움의 요소(wow factor)가 아닌 처리량(throughput)의 변화를 측정하세요. 내부의 챔피언(champions)을 육성하여 그 관행이 복리로 쌓이게 하세요. 프로덕션에 도달하는 팀들은 첫날부터 채택(adoption)을 목표로 삼았습니다.

실패 패턴을 세분화하여 정리한 전체 버전은 여기에서 확인하실 수 있습니다: Why AI pilots stall before production.