Sherpa: LLM에게 적응적으로 가르치는 방법을 교육하기

대규모 언어 모델(LLMs)은 점점 더 능숙한 문제 해결사가 되고 있지만, 문제를 해결할 수 있다는 것이 그것을 가르칠 수 있다는 것과는 다릅니다. 현재 LLMs를 교사로 훈련하는 접근 방식들은 시연(demonstrations), 선호도 데이터(preference data), 또는 무엇이 좋은 교육인지 명시하는 사전에 정의된 교수학적 기준에 의존합니다. 그러나 이러한 신호들은 종종 개별 학생의 학습 결과와 기반을 두지 않는데, 효과적인 교육 전략은 학습자마다 크게 다를 수 있기 때문입니다. 이를 해결하기 위해, 우리는 Sherpa라는 다중 턴 강화학습(multi-turn reinforcement learning) 프레임워크를 소개합니다. 이 프레임워크는 다양한 학습 선호도에 따라 조건화된 LLMs로 여러 학생 아키타입을 구현하고, 교사 모델이 그들의 학습 결과를 직접 최대화함으로써 지침을 적응하도록 훈련시킵니다. Sherpa로 훈련된 교사 LLMs는 모든 아키타입의 지시를 받은 학생들의 성능을 평균 20.5 퍼센트 포인트 향상시킵니다. MathTutorBench 평가에서, Sherpa는 전체 교수학적 점수(pedagogy score)를 52.5%에서 79.2%로 높여 더 나은 교육 반응을 나타냅니다. 우리의 인간 연구에 따르면, 훈련된 교사는 쌍별 비교의 79.6%에서 기본 모델보다 선호되었습니다. 종합적으로 볼 때, Sherpa는 LLM 교사들이 다양한 시뮬레이션 학생들에게 적응하도록 훈련시켜 실제 학생들을 가르치는 AI 튜터로 더 나아지게 하며, 이 분야의 길을 열어줍니다.