운용 현장에서 바라본, 실서비스에서 작동하지 않는 AI Agent 설계 체크리스트

LLM/RAG/Agent 프로젝트는 모델이 똑똑하지 않아서 망하는 것이 아닙니다. 많은 경우, 누구를 위해·무엇을 근거로·어디까지 답하고·어디서 멈추며·누가 수정할 것인지가 결정되지 않았기 때문에, 작동하더라도 실서비스(Production)에서 사용되지 못한 채 끝납니다. 이는 고기밀·고난도 현장에서 LLM/RAG/Agent를 업무에 도입하는 과정에서 발견한, "작동하지만 사용되지 않는 상황"을 방지하기 위한 설계 체크리스트입니다. 점수나 합격 여부를 매기지는 않습니다. 각 질문에 한 줄로 답할 수 있는지를 통해, 자신의 설계 중 어느 부분이 실서비스화 단계에서 실패할지를 스스로 찾아내기 위한 틀입니다. 정밀도(Accuracy)에 관한 이야기는 포함하지 않았습니다. 경험상, 작동하는 결과물을 가지고 있는 사람일수록 정밀도가 아니라——principal(누구의 책임을 가볍게 할 것인가), boundary(무엇을 맡기지 않을 것인가), runtime(부품을 어떻게 통합할 것인가), 그리고 실서비스에서 사용할 수 없는 모델을 전제로 하고 있지는 않은가, 와 같은 지점에서 실패합니다. 대상은 PoC(Proof of Concept)는 성공했지만, 실서비스에 도입되지 않거나 도입되어도 사용되지 않는 단계에 있는 설계자입니다.