재귀적 자기 개선(Recursive self-improvement)은 AI 시스템이 후속 시스템에서 사용되는 모델과 인프라를 개선하도록 요구합니다. LLM 압축은 구체적인 효율성 목표를 제공하는데, 이는 사전 학습된 모델의 동작을 더 작은 모델 저장 예산 내에 유지하는 것입니다. 우리는 코딩 에이전트가 이 단계를 자율적으로 수행할 수 있는지 연구했습니다.
우리는 압축을 터미널 작업(terminal task)으로 공식화했으며, 이 과정에서 에이전트는 소스 체크포인트(source checkpoint), 저장 한계(storage limit), 추론 환경(inference environment), 그리고 시간 예산(time budget)을 받습니다. 이후 에이전트는 압축된 가중치와 실행 가능한 추론 코드를 구성합니다. 에이전트는 자신의 알고리즘과 실험을 제어하며, 퍼플렉서티 피드백(perplexity feedback)은 검색을 안내하고, 독립적인 검증(independent verification)은 최종 모델을 확인합니다.
총 여섯 개의 에이전트와 여섯 가지 모델 크기 설정에 걸쳐, 제출된 36개 중 29개가 검증을 통과했습니다. 작업별로 가장 낮은 퍼플렉서티를 가진 에이전트 설계를 선택했을 때, BF16 대비 평균 3.4%의 퍼플렉서티 증가와 77.33%의 다운스트림 정확도(downstream accuracy)가 달성되었으며, 이는 BF16의 79.56%와 비교됩니다. 기록된 실험들은 에이전트가 이러한 결과를 어떻게 달성하는지, 그리고 개선이 어디서 무너지는지를 보여줍니다.
에이전트는 거의 고정된 저장 공간에서 24번의 수정 중 21번에서 PPL을 낮추었습니다. 전체 모델 피드백은 이전 로컬 순위 79개 중 17개를 뒤집었으며, 생성 및 추론 테스트는 단순히 가능도(likelihood)만으로는 놓치는 실패 사례들을 노출했습니다. 이 결과들은 표현 설계(representation design), 실험적 판단(experimental judgment), 그리고 역량 검증(capability validation)이 에이전트 주도 모델 압축의 핵심이며, 이는 효율성 지향적인 자기 개선의 측정 가능한 구성 요소임을 밝혀냅니다.