DeltaBox: 밀리초 단위의 샌드박스 체크포인트/롤백을 통한 상태 유지 AI 에이전트의 확장

LLM (Large Language Model) 기반의 AI 에이전트는 고빈도 상태 탐색(예: 테스트 시간 트리 탐색(test-time tree search) 및 강화학습 (RL))을 필요로 하며, 파일 및 프로세스 상태(예: 메모리, 컨텍스트 등)를 포함한 전체 샌드박스 상태의 신속한 체크포인트 및 롤백 (C/R, Checkpoint/Rollback)에 의존합니다. 기존 메커니즘은 전체 상태를 복제하기 때문에 C/R당 수백 밀리초에서 수 초의 지연 시간이 발생하며, 이는 심층 탐색과 대규모 팬아웃 (fan-outs)을 심각하게 저해하는 병목 현상을 일으킵니다. 본 논문은 AI 에이전트의 후속 체크포인트들이 매우 유사하다는 점에 주목합니다. 따라서 전체를 복제하는 대신, 샌드박스는 연속된 체크포인트 사이의 변경 사항만을 복제해야 합니다 (핵심 통찰 (Key Insight)). 그러나 주로 운영체제 (OS) 지원의 부재로 인해 이 아이디어를 구현하는 것은 쉽지 않습니다. 본 논문은 두 가지 공동 설계된 OS 메커니즘을 통해 AI 에이전트를 위한 변경 기반 트랜잭션 C/R을 가능하게 하는 새로운 OS 수준 추상화인 DeltaState를 제안합니다. 첫째, DeltaFS는 파일 상태를 레이어(layer)로 구성하고, 체크포인트 시 쓰기 가능한 레이어를 동적으로 동결(freezing)한 뒤 새로운 레이어를 삽입함으로써 변경 기반 파일 시스템 C/R을 가능하게 합니다. 이를 통해 파일 업데이트를 쓰기 시 복사 (copy-on-write) 방식으로 줄이고, 롤백을 단순한 레이어 전환으로 만듭니다. 둘째, DeltaCR은 증분 덤프 (incremental dumps)를 사용하여 변경 기반 프로세스 상태 C/R을 가능하게 하며, 전통적인 파이프라인을 우회하여 동결된 템플릿 프로세스로부터 직접 fork()함으로써 롤백을 가속화합니다. 그런 다음, 우리는 이 두 가지 새로운 메커니즘을 통해 밀리초 단위의 C/R을 달성하는 혁신적인 에이전트 샌드박스인 DeltaBox를 제시합니다. SWE-bench 및 RL 마이크로 벤치마크에 대한 평가 결과, DeltaBox는 밀리초 단위의 지연 시간(각각 14ms 및 5ms) 내에 체크포인트와 롤백을 완료하며, 이를 통해 에이전트가 고정된 시간 예산 내에서 실질적으로 더 많은 노드를 탐색할 수 있도록 지원함을 보여줍니다.