Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
에이전트 AI 시스템에서 JSON의 토큰 오버헤드를 줄이기 위한 TOON 및 TRON 형식의 효용성을 벤치마크 연구를 통해 분석했습니다. 연구 결과, TRON은 정확도 손실을 최소화하며 최대 27%의 토큰 절감을 달성했으나, TOON은 다회차 파싱 실패와 병렬 호출 붕괴 문제를 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기에이전트 AI (Agentic AI) 시스템 내의 대규모 언어 모델 (LLM)은 도구 스키마 (tool schemas)와 실행 결과 (execution results)를 소비하고, 구조화된 데이터로서 도구 호출 (tool invocations)을 생성합니다. 이러한 교환을 위한 기본 언어인 JSON은 토큰 효율성보다는 애플리케이션 간의 상호 교환을 위해 설계되었기 때문에, 그 구조적 요소들이 상당한 토큰 오버헤드 (token overhead)를 발생시킵니다. 최근 연구에서는 더 압축된 대체재로서 TOON (Token-Oriented Object Notation) 및 TRON (Token Reduced Object Notation)과 같은 토큰 최적화 대안을 제안하고 있으나, 이러한 형식들은 고립된 이해 또는 생성 작업에서만 평가되었습니다. 따라서 이러한 토큰 절감 효과가 엔드 투 엔드 (end-to-end) 에이전트 루프 내부에서도 유지되는지는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 네 가지 에이전트 벤치마크 (BFCL, MCPToolBenchPP, MCP-Universe, StableToolBench)와 다섯 가지 오픈 웨이트 (open-weight) LLM을 대상으로 TOON 및 TRON을 평가하며, 이해 (comprehension)와 생성 (generation)을 독립적으로 측정하기 위해 입력 압축과 출력 압축을 분리하여 분석합니다. TRON은 JSON 베이스라인 대비 정확도 차이가 14pp 이내인 범위에서 최대 27%의 토큰을 절감합니다. TOON은 유사한 9pp의 정확도 비용으로 최대 18%의 절감을 달성하지만, 추가적으로 다회차 (multi-turn) 파싱 실패가 연쇄적으로 발생하며 대부분의 모델에서 병렬 도구 호출 (parallel tool-call) 출력이 붕괴되는 현상이 나타납니다.