LLM 에이전트가 그래디언트 업데이트 (gradient updates) 없이 스스로 생성한 메모리를 통해 의사결정을 개선할 수 있을까요? 우리는 계층적 ReAct 에이전트를 위해 프롬프트 주입형 자연어 메모리 (prompt-injected natural-language memory)를 진화시키는 단계별, 개체군 기반 프로토콜인 FORGE (Failure-Optimized Reflective Graduation and Evolution)를 제안합니다. FORGE는 Reflexion 스타일의 내부 루프 (inner loop)를 감싸고 있으며, 여기서 전용 성찰 에이전트 (reflection agent, 동일한 기반 LLM 사용, 더 강력한 모델로부터의 증류 (distillation) 없음)는 실패한 궤적 (failed trajectories)을 재사용 가능한 지식 산출물인 텍스트 휴리스틱 (Rules), 퓨샷 데몬스트레이션 (Examples), 또는 둘 다 (Mixed)로 변환합니다. 또한 외부 루프 (outer loop)는 단계 사이에 가장 성능이 좋은 인스턴스의 메모리를 개체군 (population)에 전파하고, 졸업 기준 (graduation criterion)을 통해 수렴된 인스턴스를 고정합니다.
우리는 B-line 공격자를 상대로 30단계 호라이즌 (horizon)을 가진 확률적 네트워크 방어 POMDP인 CybORG CAGE-2에서 평가를 수행했습니다. 테스트된 네 가지 LLM 제품군 (Gemini-2.5-Flash-Lite, Grok-4-Fast, Llama-4-Maverick, Qwen3-235B) 모두 강력한 음의 방향을 가진 헤비 테일 (heavy-tailed) 제로샷 보상을 보였습니다. 제로샷 베이스라인 (zero-shot baseline) 및 Reflexion 베이스라인 (단일 스트림 학습)과 비교했을 때, FORGE는 12가지 모델-표현 조건 모두에서 제로샷 대비 평균 평가 수익 (evaluation return)을 1.77.7배 개선하였고, Reflexion 대비 2972%를 개선하였으며, 주요 실패율 ($-100$ 미만)을 약 1%까지 낮추었습니다.
우리는 다음을 발견했습니다: (1) 개체군 방송 (population broadcast)은 핵심적인 메커니즘이며, 졸업을 하지 않는 어블레이션 (no-graduation ablation) 실험을 통해 방송이 성능 향상을 가져오는 반면 졸업은 주로 연산 비용을 절감한다는 것을 확인했습니다; (2) Examples는 네 가지 모델 중 세 가지 모델에서 가장 강력한 수익을 달성했으며, Rules는 토큰을 약 40% 적게 사용하여 최적의 비용-신뢰성 프로필을 제공했습니다; (3) 성능이 낮은 베이스라인 모델들이 불균형적으로 더 큰 혜택을 받았으며, 이는 FORGE가 강력한 모델을 증폭시키기보다 역량 격차를 완화할 수 있음을 시사합니다. 모든 증거는 CAGE-2 B-line에 국한되며, 제품군 간의 발견은 방향성 증거입니다.