Qwen-AgentWorld-35B-A3B 테스트: 에이전트 추론 (Agentic Reasoning)을 위한 새로운 벤치마크인가?

저는 지난 며칠 동안 Qwen/Qwen-AgentWorld-35B-A3B 릴리스를 심도 있게 조사했습니다. 모델이 명시적으로 "AgentWorld"라는 브랜드명을 달고 나올 때는 보통 두 가지 중 하나를 의미합니다. 프롬프트 엔지니어링 (Prompt Engineering)을 활용한 마케팅 활동이거나, 아니면 관찰 (Observation), 추론 (Reasoning), 행동 (Action)의 특정 루프에 실제로 튜닝(Tuned)된 경우입니다. 이를 로컬 테스트 하네스 (Test Harness)에 배포해 본 결과, 저는 후자라고 말씀드릴 수 있습니다.

아키텍처의 변화 (The Architecture Shift)

35B 파라미터 크기는 매우 적절한 지점입니다. 복잡한 세계 상태 (World-state) 로직을 담기에 충분히 크면서도, 단일 A100이나 적절한 양자화 (Quantization)를 거친 고성능 소비자용 설정에서 실행하기에는 충분히 작습니다. 여기서 흥미로운 점은 단순한 원시 성능(Raw power)이 아니라 튜닝입니다. 대부분의 모델은 "도구 사용 피로 (Tool-use fatigue)"로 어려움을 겪습니다. 즉, 서너 번의 턴이 지나면 인자 (Arguments)를 환각 (Hallucinating)하거나 환경의 상태를 잊어버리기 시작합니다.

AgentWorld는 상태 추적 (State tracking) 측면에서 훨씬 더 높은 한계를 보여주는 것 같습니다. 저는 가상의 파일 시스템을 탐색하고, 설정을 편집한 다음, 시뮬레이션된 셸 (Shell)을 통해 변경 사항을 확인해야 하는 다단계 환경을 대상으로 테스트를 진행했습니다. GPT-4o가 때때로 과도하게 자신감을 보여 확인 단계를 건너뛰는 반면, Qwen-AgentWorld는 절제된 "확인 후 진행 (Check-then-proceed)" 동작을 보여주었습니다.

실전 성능: "에이전트 루프 (Agentic Loop)"

테스트에서 저는 세 가지 핵심 지표에 집중했습니다: 도구 호출 정확도 (Tool Call Accuracy), 상태 지속성 (State Persistence), 그리고 복구 (Recovery).

1. 도구 호출 정확도 (Tool Call Accuracy): 이 모델은 JSON 포맷팅에 있어 믿기 어려울 정도로 정밀합니다. 50개 이상의 복잡한 도구 호출(tool calls) 과정에서 구문 오류(syntax errors)를 전혀 발견하지 못했습니다. 단순히 스키마(schema)를 따르는 것을 넘어, 도구의 '의도(intent)'를 이해하고 있습니다.
2. 상태 지속성 (State Persistence): 이 부분이 모델의 강점이 드러나는 지점입니다. 세 개의 서로 다른 "방"(시뮬레이션된 데이터 사일로)에 걸쳐 다섯 개의 서로 다른 변수가 포함된 긴 문맥(long-context) 시나리오를 제공했습니다. 모델은 시스템 프롬프트(system prompt)에 지속적인 상기 없이도 이 변수들 사이의 관계를 유지했습니다.
3. 복구 (Recovery): 의도적으로 "도구 오류(tool error)"(실패한 API 호출 시뮬레이션)를 입력했을 때, 모델은 루프에 빠지거나 당황하지 않았습니다. 오류 메시지를 분석하고, 파라미터(parameters)를 조정한 뒤, 다시 시도했습니다. 이것이 챗봇(chatbot)과 에이전트(agent)의 차이입니다.

트레이드오프 (The Trade-offs)

완벽하지는 않습니다. 35B 모델의 지연 시간(latency)은 더 작은 7B 또는 9B 변체(variants)와 비교했을 때 눈에 띄게 느립니다. 실시간 음성 에이전트를 구축 중이라면 이 모델은 너무 느릴 수 있습니다. 하지만 자동화된 PR 리뷰나 복잡한 데이터 파이프라인 오케스트레이션(orchestration)과 같은 비동기 작업(asynchronous tasks)의 경우, 신뢰성을 위해 감수할 만한 트레이드오프입니다.

또한, 추론(reasoning)은 날카롭지만 문체(prose)는 다소 건조할 수 있습니다. 고객 대면용으로 사용해야 한다면 가벼운 "다듬기(polishing)" 레이어가 필요할 것입니다. 하지만 엔지니어에게 건조함은 좋은 것입니다. 건조하다는 것은 예측 가능하다는 뜻이기 때문입니다.

최종 판결 (Final Verdict)

에이전트 시스템(agentic systems)을 구축 중이며 폐쇄형 API(closed-source APIs)의 "블랙박스"식 예측 불가능성에 지쳤다면, Qwen-AgentWorld-35B-A3B는 강력한 경쟁자입니다. 이 모델은 "함수를 호출할 수 있는 LLM"에서 "에이전시(agency)를 위해 설계된 모델"로의 패러다임 전환을 보여줍니다.

저는 현재 이 모델이 장기적인 목표 분해(goal decomposition)를 어떻게 처리하는지 확인하기 위해 로컬 자율 연구자 파이프라인(local autonomous researcher pipeline)에 통합하는 작업을 진행 중입니다. 초기 결과는 유망합니다.

요약 (TL;DR): 모든 것을 위해 70B 이상의 거대 모델만을 쫓지 마세요. 이 35B 모델은 프로덕션급 자율 워크플로우(production-grade autonomous workflows)를 위한 실용적인 선택이 될 수 있는 수준의 에이전트 신뢰성을 제공합니다.