압축기로서의 에이전트 시스템: 비트(Bits) 단위로 측정하는 시스템 지능

대규모 언어 모델(Large language models)은 고립된 예측기에서 에이전트 시스템(agentic systems)으로 변화하고 있습니다. 즉, 도구를 호출하고, 증거를 검색하며, 환경 제약 조건을 준수하고, 검증기(verifiers)를 사용하며, 탐색(search)과 다회차 상호작용(multi-turn interaction)을 통해 작업을 완료합니다. 우리는 "압축이 곧 지능이다(compression is intelligence)"라는 분석적 관점을 채택합니다. 고정된 작업 분포(task distribution), 인터페이스, 그리고 연산 예산(compute budget) 하에서, 더 강력한 에이전트 시스템은 대상 객체를 더 적은 비트(bits)로 재구성할 수 있게 합니다. 우리는 산술 부호화(arithmetic coding), 시드 부호화(seed coding) 및 폴백(fallback)을 사용하여 이 측정법을 실행 가능한 형태로 구현하였으며, 다섯 가지 설정에서 이를 평가했습니다: 역방향 텍스트(reversed text), 체스 수(chess moves), 단백장 서열(protein sequences), 검색 증강 질의응답(retrieval-augmented question answering), 그리고 의미론적 이야기 압축(semantic story compression). 이 모든 설정에서 에이전트 구성 요소(agentic components)는 코드 길이(codelength)를 줄여주었습니다. 이러한 작고 통제된 실험들은 실제 에이전트 시스템에서 전형적인 구성 요소 유형을 다루며, 코드 길이가 구성 요소, 관찰자(observers), 그리고 예산이 잔여 불확실성(residual uncertainty)을 어떻게 변화시키는지 분석할 수 있음을 보여주고, 실제 에이전트 시스템을 평가하기 위한 가이드를 제공합니다.