모델 스케일링에서 시스템 스케일링으로: 에이전틱 AI (Agentic AI)의 하네스 (Harness) 스케일링

본 논문은 에이전틱 AI (Agentic AI)의 차세대 주요 병목 현상이 모델 스케일링 (Model Scaling)뿐만 아니라 시스템 스케일링 (System Scaling), 즉 파운데이션 모델 (Foundation Models)을 둘러싼 감사 가능하고 (Auditable), 지속 가능하며 (Persistent), 모듈화되고 (Modular), 검증 가능한 (Verifiable) 아키텍처의 설계라는 점을 연구합니다. 우리는 이러한 변화를 '하네스 스케일링 (Scaling the Harness)'이라고 부릅니다. 이는 파운데이션 모델 주변의 구조화된 실행 계층을 설계, 평가 및 최적화의 일급 객체 (First-class object)로 취급하는 것을 의미합니다. 최근의 대규모 언어 모델 (LLM)은 에이전트가 도구를 사용하고, 정보를 검색하며, 메모리를 유지하고, 장기적인 워크플로우 (Long-horizon workflows)를 실행할 수 있게 해주었지만, 평가는 여전히 주로 모델 중심적이며, 메모리, 검색, 도구 사용, 오케스트레이션 (Orchestration), 검증 (Verification) 및 거버넌스 (Governance)를 부차적인 구현 세부 사항으로 취급하며 에이전트를 최종 작업 성공 여부로만 축소하는 경우가 많습니다. 이러한 프레임워크는 점점 더 부적절해지고 있는데, 그 이유는 에이전트의 성능이 파운데이션 모델, 메모리 기질 (Memory substrate), 컨텍스트 생성기 (Context constructor), 스킬 라우팅 계층 (Skill-routing layer), 오케스트레이션 루프 (Orchestration loop), 그리고 검증 및 거버넌스 계층 (Verification-and-governance layer) 사이의 상호작용에서 발생하기 때문입니다. 이러한 구성 요소들이 모여 에이전트 하네스 (Agent harness)를 형성하며, 이는 모델의 능력을 장기적인 에이전트 행동으로 변환합니다. 우리는 컨텍스트 거버넌스 (Context governance), 신뢰할 수 있는 메모리 (Trustworthy memory), 동적 스킬 라우팅 (Dynamic skill routing)이라는 세 가지 핵심 병목 현상과, 이들을 조정하고 제약하는 오케스트레이션 및 거버넌스 메커니즘을 통해 하네스 스케일링을 연구합니다. 나아가 우리는 단발성 작업 성공을 넘어 궤적 품질 (Trajectory quality), 메모리 위생 (Memory hygiene), 컨텍스트 효율성 (Context efficiency), 통신 충실도 (Communication fidelity), 검증 비용 (Verification cost), 그리고 시간에 따른 안전한 진화 (Safe evolution)를 측정할 수 있는 하네스 수준 벤치마크를 위한 연구 과제를 제시합니다. 논의를 구체화하기 위해, 우리는 Python 네이티브 레퍼런스 하네스인 CheetahClaws (https://github.com/SafeRL-Lab/cheetahclaws)를 개발하였으며, 이를 Claude Code 및 OpenClaw와 비교합니다. 우리의 주요 주장은 에이전틱 AI의 향후 발전이 더 강력한 파운데이션 모델만큼이나 시스템 설계에 달려 있다는 것입니다.