구조화된 워크플로우와 소형 로컬 모델의 강력한 성능

한 달 전, 저는 몇 가지 도구를 활용하여 매우 기본적인 홈메이드 에이전트 루프 (agent loop)를 실험해 보았고, 그것이 얼마나 조잡함에도 불구하고 놀라울 정도로 잘 작동하는지 발견했습니다:

이후 저는 여러분만의 에이전트 루프를 개발하는 것이 얼마나 중독적인지, 특히 에이전트 루프가 스스로를 편집할 수 있는 단계에 도달했을 때 더욱 그러하다는 것에 대해 글을 썼습니다:

글쎄요, 28일이 지난 지금, 상황은 걷잡을 수 없이 커졌습니다. 너무 중독적이어서 새벽 5시까지 작업하곤 했습니다.

훌륭한 에이전트 설정 (agentic setup)을 갖추고 나면, 인간인 당신이 주요 병목 현상 (bottleneck)이라는 사실을 빠르게 깨닫게 됩니다. 당신에게는 방대한 할 일 목록이 있지만, 에이전트는 당신의 승인과 검토를 기다리며 유휴 상태로 앉아 있습니다.

그뿐만 아니라, 저는 Qwen3.5 9B를 모델로 사용하고 있기 때문에 모델의 지능과 컨텍스트 (context)가 제한적입니다. 수백 개의 데이터 파일을 모델에 그냥 쏟아붓고 작은 컨텍스트 창 (context window) 안에서 모두 처리하기를 기대할 수는 없습니다. 그래서 저는 맵-리듀스 (map-reduce) 패턴을 통해 컨텍스트 제한을 관리하기로 생각했습니다. 즉, 작업을 더 작은 청크 (chunks)로 나누어 병렬로 실행함으로써, 컨텍스트 제한을 준수하면서도 GPU의 연산량 (FLOPs)을 최대한 추출하는 방식입니다.

구조화된 출력 (structured outputs)을 강제하는 것 또한 LLM의 가변성 (variability)을 줄이고 매끄러운 리듀스 (reduce) 단계를 만드는 데 도움이 됩니다.

마지막으로, 워크플로우를 모니터링하고 추적하기 위한 데이터베이스를 갖추는 것이 유용합니다.

물론 이 모든 것을 수동으로 하거나 LLM에게 프롬프트를 입력하는 것은 번거로운 일일 수 있습니다. 그래서 저는 제가 원하는 기능을 하나의 스킬 (skill)로 묶었습니다. 이를 통해 매번 반복할 필요 없이, 단 한 번의 지시만으로 결정론적인 파이썬 가드레일 (python guardrails), 병렬 실행, 모니터링, 체크포인팅 (checkpointing) 및 복구 등을 갖춘 원하는 워크플로우를 생성할 수 있게 되었습니다.

오늘 드디어 이를 실행 가능한 상태로 만들었으며, 소형 로컬 모델이 이 작업을 처리할 수 있다는 사실에 기쁩니다.

몇 주 전부터 저의 커스텀 에이전트는 이제 99%의 작업에서 Claude Code를 대체했습니다. 에이전트는 아직 출시되지 않았지만, 언젠가 미래에 오픈 소스로 공개하기를 희망합니다.