언어 모델이 언어 모델을 개선하는 방법을 학습하다

원문 발행 2026. 10. 16. 20:51원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 LLM이 언어 모델(LM) 개발 과정을 자동화하고 개선하는 방법을 학습한 LM2LM을 제안합니다. 기존의 RL 기반 접근 방식은 높은 비용과 대리 피드백의 신뢰성 문제를 겪었습니다. 이를 해결하기 위해, 본 연구는 RWM이라는 고정된 LLM을 사용하여 확장 가능한 피드백을 제공하며 성능 향상 및 비용 절감을 입증했습니다.

핵심 포인트

LM2LM: LLM이 LM 개선 제안을 생성하도록 RL로 훈련됨.
RWM(연구 세계 모델) 사용으로 확장 가능하고 신뢰성 높은 피드백 제공.
GPT-6-sol 대비 더 나은 성능과 33% 낮은 데이터 생성 비용 달성.
8가지 환경에서 일반화 능력을 보여주며, 보류된 작업에 대한 평가가 이루어짐.

대규모 언어 모델(LLMs)은 언어 모델(LM) 개발을 포함하여 AI 연구를 자동화하는 데 점점 더 많이 사용되고 있으며, 이는 재귀적 자기 개선으로 향하는 잠재적인 경로를 제공합니다. 그러나 실험적 피드백을 여러 모델에 걸쳐 효과적인 개선안을 제안하는 학습된 능력으로 전환하는 것은 두 가지 문제에 직면합니다. 첫째, 실제 피드백으로 이러한 능력을 훈련하는 것은 비용이 많이 듭니다. 강화학습(RL)은 수만 개의 제안을 평가해야 하며, 각 제안은 전체 모델 훈련 실행을 필요로 할 수 있습니다. 실행당 10 GPU-시간만 소요되더라도, 보상 수집만으로도 수십만 GPU-시간이 소비되어 더 저렴한 대리(surrogate)를 동기 부여합니다. 둘째, 정책 최적화가 제안 분포가 이동할 때 과대평가된 제안을 선호하게 되면서 대리 피드백은 신뢰성을 잃을 수 있습니다. 이러한 문제들을 해결하기 위해, 우리는 LLMs를 RL로 훈련하여 효과적인 LM 개선 제안을 생성하는 LM2LM을 제안합니다. 확장 가능한 피드백을 제공하기 위해, 우리는 연구 세계 모델(RWM)을 사용하는데, 이는 컨텍스트에 제공된 실제 실험 기록으로부터 제안의 이득을 예측하는 고정된 LLM이며 RL의 보상 모델로 사용됩니다. 피드백의 신뢰성을 유지하기 위해, 우리는 RWM에 의해 높은 순위가 매겨진 현재 정책의 제안들을 주기적으로 실행하고 그 측정된 결과를 컨텍스트에 추가합니다. 8가지 자기회귀 및 확산 LM 개발 환경 전반에 걸쳐, 보류된 작업(held-out tasks)에 대한 실제 실행 평가는 LM2LM이 GPT-6-sol이 컨텍스트에서 300개의 실제 실험 기록을 제공받았을 때보다 더 나은 성능을 보이게 하며, 데이터 생성 비용은 33% 낮게 요구한다는 것을 보여줍니다. 또한 LM2LM은 훈련 중에 보지 못한 모델 패밀리에도 일반화됩니다.

AI 자동 생성 콘텐츠

원문 바로가기

언어 모델이 언어 모델을 개선하는 방법을 학습하다

요약

핵심 포인트

댓글