@maithra_raghu 님의 리트윗: 최첨단 성능을 뛰어넘도록 까다로운 금융 연구를 위해 사후 학습된 새로운 모델 Samaya

RT @maithra_raghu: 최첨단 성능을 능가하도록 까다로운 금융 연구를 위해 사후 학습된 저희의 새로운 모델, Samaya Sterling을 소개합니다! Sterling은 에이전트 오케스트레이션(agentic orchestration)에서 효율성을 높일 수 있는지 알아보기 위한 2인 연구 노력으로 시작되었습니다. 놀랍게도 우리는 훨씬 더 작은 모델(Nemotron 3.5 Lightning, 활성 파라미터 3B를 가진 30B mixture-of-experts 모델)을 사용하여 최고 성능의 최첨단 모델인 Claude Fable 5.1보다 더 높은 정확도(FrontierFinance에서 58.9% 대 55.9%)와 11배 낮은 비용($0.61 대 $6.89)으로 사후 학습하는 데 성공했습니다.

저희는 이 과정을 네 단계의 훈련 프로세스를 통해 수행했습니다. 첫 두 단계는 SFT(Supervised Fine-Tuning)로, 모델이 저희 금융 도구를 사용하여 연구하고 좋은 에이전트 연구 전략을 구성하는 방법을 배우도록 합니다. 다음 두 단계는 RL(강화학습)이며, 오프라인 GRPO 단계를 거쳐 모델은 다양한 접근 방식을 제공하는 8명의 교사로부터 연구 전략을 더욱 다듬고, 온라인 GRPO 단계에서는 모델이 종단 간 시도를 수행하고 실수로부터 학습할 수 있습니다.

저희는 모델과 사후 훈련을 통해 얻는 공동 적응(co-adaptation)에서 상당한 이점을 발견했습니다. 이는 모델이 고품질 금융 도구를 효과적으로 사용하도록 학습하는 것뿐만 아니라, 작은 모델조차도 더 길고 깊은 연구를 수행할 수 있게 하는 개선된 압축 접근 방식 덕분입니다.

저희는 이 작은 모델을 사용하는 다중 에이전트 연구 군집(multi-agent research swarms)부터 고유한 판단력을 인코딩하기 위한 회사별 맞춤형 모델 훈련, 그리고 초기 결과에서 훈련 과정으로부터 훨씬 더 큰 이점을 보여주는 대규모 모델 훈련에 이르기까지 여러 후속 방향을 탐색하고 있습니다.

전체 연구 내용은 아래 링크를 참조하세요!