그 방에는 창문이 없었고 데모는 완벽하게 진행되고 있었습니다.

팀이 모델에 던지는 모든 질문에 모델은 답변했습니다.

CTO가 고개를 끄덕였습니다. 파일럿 프로젝트가 승인되었습니다. 모두가 행복하게 집으로 돌아갔습니다.

3주 후, 저는 다시 그 방으로 돌아왔고, 아무도 고개를 끄덕이지 않았습니다.

만약 당신이 OpenAI 기반의 기능을 실제 사용자에게 배포해 본 적이 있다면, 다음에 무슨 일이 일어났는지 이미 알고 있을 것입니다.

데모에서는 깔끔한 질문 10개.

프로덕션(Production)에서는 엉망진창인 질문 10,000개.

벽은 항상 같은 곳에 있습니다

이러한 실패는 개발 단계에서는 거의 나타나지 않습니다.

첫 번째 실제 트래픽 파도가 지나간 후, 2주 차에 표면 위로 드러납니다.

그 타이밍이 바로 특징입니다.

개발(Dev) 단계에서는 당신이 상상한 입력을 모델에 제공합니다.

프로덕션(Production)에서는 사용자가 당신이 입력할 것이라고는 전혀 생각지 못한 입력을 모델에 제공합니다.

붙여넣기 된 표. 반쪽짜리 문장. 한 메시지에 담긴 세 가지 언어. 텍스트가 있을 것이라고 가정했던 빈 필드.

이 중 그 어떤 것도 모델을 충돌(Crash)시키지는 않습니다.

그것이 함정입니다.

모델은 어제와는 약간 다른 형태로 자신 있게 답변하고, 그 하류(Downstream)에 위치한 경직된 시스템은 그 차이 때문에 조용히 질식합니다.

댓글 스레드에서 아무도 그것을 명명하지 않습니다

매주 저는 댓글 섹션을 통해 동일한 단어가 맴도는 것을 지켜봅니다.

사람들은 증상을 설명합니다.

파서(Parser)가 깨졌다. 출력 형식(Output format)이 드리프트(Drift)했다. 에이전트(Agent)가 루프(Loop)를 돌았다. 하룻밤 사이에 청구서가 세 배로 뛰었다.

그들은 모두 서로 다른 방향에서 동일한 동물을 바라보고 있는 것입니다.

그 밑바닥에는 한 가지 문제가 잘못되고 있습니다.

당신은 매번 동일한 답변을 기대하도록 구축된 스택(Stack)에 비결정론적(Non-deterministic) 시스템을 연결했습니다.

데모는 그것을 숨겼습니다. 데모는 통제된 입력이기 때문입니다.

프로덕션은 그것을 드러냅니다. 프로덕션은 통제되지 않기 때문입니다.

두 번째 회의에서 제가 CTO에게 말하는 것

여기에 제가 고수할 의견이 있습니다.

대부분의 팀은 모델을 위험한 부분으로 취급하고, 그 주변의 자체 코드를 안전한 부분으로 취급합니다.

그것은 거꾸로 된 생각입니다.

당신의 모델은 대략 항상 하던 대로 하고 있습니다.

취약한 것은 모델이 무엇을 반환할지에 대해 당신의 코드가 했던 모든 가정입니다.

더 나은 프롬프트(Prompt)를 찾으려 애써봐야 다음 주에 다시 벽에 부딪히게 될 것입니다.

실제로 유효한 것은 모든 모델 응답을 신뢰할 수 없는 입력(untrusted input)으로 취급하는 경계(boundary)입니다. 이 경계는 응답이 도착하는 즉시 검증되며, 예상하지 못한 형태가 나타날 경우 정의된 동작을 수행합니다.

저는 의도적으로 여러분에게 배선(wiring)을 직접 건네주지 않고 있습니다.

특정 스택에 대해 해당 경계를 올바르게 설정하는 것이 핵심적인 작업이며, 실제 부하(load) 상황에서 이를 깔끔하게 실행하는 것이 진정으로 어려운 부분입니다.

하지만 이제 그 형태가 무엇인지 알 수 있을 것입니다.

불편한 부분

이 벽에 부딪힌 팀들은 부주의했던 것이 아닙니다.

그들은 해피 패스(happy path)를 테스트하고 제품을 출시한 유능한 엔지니어들이었습니다.

저 또한 커리어 초기에 정확히 똑같은 행동을 했고, 제가 깊은 인상을 주고 싶었던 사람들 앞에서 그 일로 큰 대가를 치렀습니다.

어떤 영리한 기술도 저에게 교훈을 주지 않았습니다.

끔찍했던 한 주가 저에게 교훈을 주었습니다.

보통 진짜 교훈은 그런 방식으로 찾아옵니다.

당신의 차례

여러분의 모델 통합(model integration)은 어디에서 가장 먼저 깨졌나요? 개발 단계였나요, 아니면 2주 차였나요?

이 내용이 유익했다면

저는 성공과 정체(freeze)를 포함한 모든 과정을 공개적으로 진행하고 있으며, 주로 LinkedIn과 YouTube에서 활동합니다. 공개적으로 빌드하는 과정의 실제 버전이 여러분에게 유익하다면, 그곳에서 확인하실 수 있습니다. X, GitHub에서 저를 찾으실 수 있으며, 작업물은 next8n.com에서 보실 수 있습니다.