[논문] FireFlash: 성능-비용 파레토 최전선에 도달하는 장기 지평 에이전트형 RL을 위한 공개 레시피

우리는 장기 지평 에이전트형 작업에 맞춰진 300B 규모의 모델인 FireFlash를 소개합니다. FireFlash는 터미널 및 코딩 에이전트로서 탁월한 성능을 보여주며, Terminal-Bench 4.0에서 46.2%를 달성하여 최대 노력 시 Fable 5보다 과제당 비용은 30배 이상 적으면서도 Fable 5와 GPT-6 Sol에 필적합니다 (Figure 1). 이러한 성능 향상은 DeepSWE v1.1 2 및 SWE-Bench Pro Verified 3을 포함한 소프트웨어 엔지니어링 벤치마크에도 적용됩니다 (Table 1). 최첨단 연구소들이 수천 개의 GPU에 걸쳐 강화학습(RL)을 확장하는 동안, 우리는 64개의 NVIDIA B300 GPU를 사용하여 5일 이내에 성능-비용 파레토 최전선에 도달합니다. 이를 가능하게 하는 세 가지 핵심 요소가 있습니다: (1) 모든 작업이 적절한 난이도에서 신뢰할 수 있는 신호를 제공하도록 에이전트형 RL 환경을 신중하게 큐레이션한 것; (2) 장기적이고, 정체되어 있으며(stale), 저정밀도의 롤아웃을 위해 구축된 RL 레시피; 그리고 (3) 학습과 평가 모두에 맞춰진 모델 전용 최적화 코딩 하네스입니다. 이 구성 요소들이 결합되어 100 GPU 규모의 클러스터에 최첨단 효율성을 가져오며, 저희는 전체 레시피를 공개합니다. 블로그 게시물: https://agenteconomics.org/posts/agentic-rl-recipe 트윗: https://x.com/kaiwei_chang/status/2117378474654781780 오픈 가중치: 곧 /u/pmttyji가 제출 예정 [링크] [댓글]