대규모의 여러 파일을 다루는 티켓에 AI 코딩 에이전트를 사용해 본 경험이 있다면, 실행이 궤도를 이탈하기 시작하는 정확한 순간을 알고 있을 것입니다.

보통 간단한 오류로 시작합니다. 에이전트가 이를 수정하려고 시도하지만 또 다른 버그를 유발합니다. 그것을 고치려고 시도하고, 이제 터미널 로그가 쌓여갑니다. 몇 번의 반복만 지나도 대화 기록은 부풀어 오릅니다. 모델은 파일을 누락하거나, import를 무시하거나, 같은 실수를 반복하기 시작합니다.

저는 이것을 컨텍스트 로트(context rot)라고 부릅니다. AI 채팅 세션이 너무 길어지면 모델이 초점을 잃습니다. 이는 프롬프팅 문제가 아니라 시스템 문제입니다.

복잡한 작업에 대해 신뢰할 수 있는 코드를 얻으려면, 컨텍스트를 축적하는 대신 관리하는 구조화된 워크플로우가 필요합니다. 저는 이 문제를 해결하기 위해 LoopTroop이라는 로컬 GUI 오케스트레이터를 지난 5개월 동안 구축했습니다.

AI가 집중력을 유지하도록 제가 워크플로우를 구성한 방법은 다음과 같습니다.

추측을 멈추세요: 인터뷰 단계
코드를 작성하거나 사양을 정의하기 전에, 시스템은 요구 사항을 명확히 하기 위한 목표 지향적인 질문들을 생성합니다. 이는 엣지 케이스(edge cases), 제약 조건(constraints), 그리고 의존성을 식별하는 데 중점을 둡니다.

사용자는 인터페이스에서 이 질문들에 답변합니다. 이 단계는 모호성을 초기에 해결하여, 계획이 사용자가 원하는 것과 일치하도록 합니다.

모델 컨설팅을 통한 계획 수립 (Planning with a model council)
단일 모델에 복잡한 티켓의 계획을 맡기는 것은 위험합니다. 대신, LoopTroop은 계획 단계에서 여러 모델로 구성된 컨설팅 그룹(council)을 사용합니다.
여러 모델이 독립적인 사양 초안(spec draft)을 생성합니다. 그런 다음 이들은 브랜드 편향성(brand bias)을 제거하기 위해 서로의 작업에 대해 익명으로 점수를 매기고 투표합니다. 승리한 모델은 다른 초안들에서 가장 좋은 아이디어를 통합하여 자신의 초안을 다듬습니다.
이는 단발성 프롬프트(one-shot prompt)보다 느리지만, 견고한 계획은 나중에 몇 시간 동안의 디버깅 루프를 방지합니다.
작고 원자적인 단위 (Small, atomic units)
우리는 승인된 계획을 작고 독립적인 작업들로 분할합니다. 각 단위는 명확한 목표(objective), 대상 파일(target files), 인수 기준(acceptance criteria), 그리고 검증 명령어(verification commands)를 가집니다.
AI에게 한 번에 전체 기능을 구축하도록 요청하는 대신, 우리는 AI가 매번 하나의 특정 단위에 집중하도록 만듭니다. 이렇게 함으로써 작업 컨텍스트(working context)를 최소한으로 유지할 수 있습니다.

새로운 컨텍스트로 복구하기: Ralph 루프(Ralph loop)
작업이 실패하거나 시간 초과될 경우, 일반적인 반응은 동일한 세션에 계속 프롬프트를 보내는 것입니다. 이는 컨텍스트에 오류 로그만 추가하여 모델을 더욱 혼란스럽게 만듭니다.
대신, LoopTroop은 복구 주기(recovery cycle)를 사용합니다:

1. 실패 상세 내용을 짧은 메모로 기록합니다.
2. 작업 워크스페이스를 시작 지점으로 초기화합니다.
3. 원래의 작업 사양(task spec)과 실패 메모를 가지고 완전히 새로운 세션을 시작합니다.
   이렇게 하면 교훈은 유지하면서 컨텍스트 오염(context pollution)은 제거할 수 있습니다. 이러한 재시도 횟수는 설정된 시도 횟수로 제한됩니다.
   인간이 통제권을 갖도록 하기
   이 워크플로우는 완전히 자율적이지 않습니다. 사양 승인이나 최종 변경 사항 검토와 같이 중요한 경계 지점에서 사용자의 승인이 필요합니다.
   사용자는 전체 실행을 모니터링하고, 실시간으로 로그를 확인하며, 단일 Kanban 보드에서 최종 diff(차이점)를 검사할 수 있습니다.
   이 접근 방식은 의도적으로 느립니다. 빠른 편집을 위한 것이 아니라 정확성이 중요한 복잡한 작업을 위한 것입니다.

코드나 GUI 작동 방식을 보고 싶다면 GitHub의 프로젝트를 확인해 보세요: https://github.com/looptroop-ai/LoopTroop
워크플로우가 실제로 작동하는 모습을 보여주는 2분 30초 분량의 짧은 비디오입니다: https://youtu.be/g1A2g-oOR3E
어떤 피드백이라도 환영합니다. 앱을 사용해 보셨고 작동했든 안 했든, 알려주세요. 기꺼이 이야기 나누겠습니다.