표기법의 중요성: 에이전트 AI 시스템에서의 토큰 최적화 형식에 관한 벤치마크 연구

에이전트 AI (Agentic AI) 시스템 내의 대규모 언어 모델 (LLM)은 도구 스키마 (tool schemas)와 실행 결과 (execution results)를 소비하고, 구조화된 데이터로서 도구 호출 (tool invocations)을 생성합니다. 이러한 교환을 위한 기본 언어인 JSON은 토큰 효율성보다는 애플리케이션 간의 상호 교환을 위해 설계되었기 때문에, 그 구조적 요소들이 상당한 토큰 오버헤드 (token overhead)를 발생시킵니다. 최근 연구에서는 더 압축된 대체재로서 TOON (Token-Oriented Object Notation) 및 TRON (Token Reduced Object Notation)과 같은 토큰 최적화 대안을 제안하고 있으나, 이러한 형식들은 고립된 이해 또는 생성 작업에서만 평가되었습니다. 따라서 이러한 토큰 절감 효과가 엔드 투 엔드 (end-to-end) 에이전트 루프 내부에서도 유지되는지는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 네 가지 에이전트 벤치마크 (BFCL, MCPToolBenchPP, MCP-Universe, StableToolBench)와 다섯 가지 오픈 웨이트 (open-weight) LLM을 대상으로 TOON 및 TRON을 평가하며, 이해 (comprehension)와 생성 (generation)을 독립적으로 측정하기 위해 입력 압축과 출력 압축을 분리하여 분석합니다. TRON은 JSON 베이스라인 대비 정확도 차이가 14pp 이내인 범위에서 최대 27%의 토큰을 절감합니다. TOON은 유사한 9pp의 정확도 비용으로 최대 18%의 절감을 달성하지만, 추가적으로 다회차 (multi-turn) 파싱 실패가 연쇄적으로 발생하며 대부분의 모델에서 병렬 도구 호출 (parallel tool-call) 출력이 붕괴되는 현상이 나타납니다.