Claude Sonnet 은 작업자이고 GPT 는 건축가라면, 당신은 누구인가?

개발 프로세스에 여러 개의 LLM 을 통합하는 것은 이제 실험적인 실용이 아닙니다. 실제로 생산성을 높이는 팀에서는 이것이 자연스럽게 이루어지고 있습니다. 과거에는 우리가 시스템의 설계자 (architect) 였다면, 이제 GPT 나 Claude 와 같은 모델은 그 역할을 수행할 수 있다면, 질문은 흥미로운 것이 아니라 필수적인 것이 됩니다: 우리는 어떤 역할을 하는 것인가요? 이 글은 모델을 비교하거나 '더 나은' 것을 결정하려는 것이 아닙니다. 오늘 그 질문에 답하려고 하면 초점을 잃게 됩니다. 진정한 문제는 단일 모델 작업에서 여러 모델을 연쇄 (chain) 할 때 발생합니다. 그곳에서 모든 것이 바뀝니다.

손이 많고 뇌가 적거나 그 반대의 경우
저는 개발 흐름 내에서 여러 모델을 직접 사용하며 경험한 것을 이야기합니다. 처음에는 매우 명확한 느낌이었습니다: 일부 모델은 좋은 코드를 작성하고, 다른 모델은 좋은 아이디어를 제안했습니다. 빠른 분류에 빠지기 쉬웠습니다: 한쪽이 생각 (think) 하고, 다른 쪽이 실행 (execute) 합니다. 일정한 시간 동안 저는 그렇게 했습니다. 일반적인 아키텍처를 정의한 후 특정 작업을 다른 에이전트에게 위임했습니다. 작동했습니다. 출력은 개선되었고 속도는 빨라졌습니다. 그러나 시간이 지남에 따라 불편한 것이 나타났습니다. 그 분류는 지속되지 않았습니다. '실행'하는 모델이 더 나은 아키텍처를 제안하거나, '생각'하는 모델이 실제 코드에서 생존하지 않는 결정을 생성하는 상황이 있었습니다. 그리고 저는 문제가 모델에 있지 않다는 것을 이해했습니다. 문제는 제가 어떻게 모델을 사용하는지에 있습니다.

모델은 아닙니다. 제가 어떻게 모델을 사용하는 것입니다.
건축가 (architect) 와 작업자 (worker) 는 고정된 역할이 아닙니다.
첫 번째 결론 중 하나는 우리가 존재하지 않는 구조를 강요하고 있다는 것입니다. 건축가 모델이나 작업자 모델은 없습니다. 조건에 따라 더 나은 결정을 내리거나 일관성 있게 실행하는 모델들은 있습니다. 그러나 그것은 컨텍스트, 문제, 제약 수준 및 작업의 방식에 따라 바뀝니다. 이는 위험한 아이디어를 깨뜨립니다: 모델을 잘 선택하면 문제가 해결된다는 것입니다. 문제를 해결하지 않습니다. 문제를 이주 (displace) 합니다. 모델을 잘 선택하는 것은 문제를 해결하지 않습니다. 문제를 이주합니다.

진정한 문제: 에이전트 연쇄 (chain agents)
단일 모델과 작업할 때 오류는 상대적으로 쉽게 찾을 수 있습니다. 어디를 봐야 할지 알 수 있습니다: 프롬프트, 응답, 코드입니다. 그러나 에이전트를 연쇄하기 시작하면 새로운 유형의 오류가 나타납니다. 한 모델은 추상적으로 올바른 아키텍처를 제안할 수 있고, 다른 모델은 이를 올바르게 구현할 수 있지만, 시스템이 여전히 잘못될 수 있습니다. 이는 에이전트가 실제로 상태를 공유하지 않기 때문입니다. 그들은 지속적인 메모리나 시스템의 완전한 컨텍스트, 결정의 이력을 가지고 있지 않습니다. 각자는 문제의 부분적인 버전을 기반으로 작동합니다. 연결하면 불완전한 컨텍스트를 전달하고 있습니다.

이동 (deriva), 정보 손실 및 연쇄 오류
시스템이 진화함에 따라 전통적인 버그가 아니라 점진적인 열화가 나타나는 패턴이 나타납니다. 좋은 결정으로 시작하여 시간이 지남에 따라 다른 것으로 변합니다. 왜냐하면 각 에이전트는 요약하고 해석하며 다시 작성하기 때문입니다. 이 과정에서 정보가 손실됩니다. 이를 정렬 이동 (alignment deriva), 의미 정보 손실 또는 연쇄 오류로 설명할 수 있습니다. 실제에서는 다음과 같습니다: 시스템은 누군가가 알아채지 않고 점진적으로 편향되지만, 가장 복잡한 것은 모두 '작동'하고 있다는 것입니다.

시스템은 점진적으로 편향되고 아무도 알아채지 않습니다. 그리고 모든 것이 '작동'합니다.
여러 에이전트와 작업할 때 가장 위험한 문제 중 하나는 각 부분이 올바르게 보입니다. 아키텍처는 의미가 있고, 코드는 컴파일되며, 테스트가 통과합니다. 그러나 시스템은 전체적으로 깨어지기 시작합니다. 이는 모델이 로컬로 최적화하고, 로컬로 검증하며, 로컬로 결정하기 때문입니다. 전역의 일관성을 유지하는 사람은 없습니다.

전역의 일관성을 유지하는 사람은 없습니다.
새로운 패러다임에서 당신은 누구인가?
여기서 모든 것이 바뀝니다. 당신은 이제 단순한...