RTLC -- Research, Teach-to-Learn, Critique: Feynman 학습 기법에서 영감을 받아 미세

요약

본 글은 LLM 기반 평가 시스템의 한계를 극복하기 위해 'RTLC (Research, Teach-to-Learn, Critique)'라는 3단계 프롬프팅 레시피를 제안합니다. RTLC는 Feynman 학습 기법을 차용하여 입력에 교육적 스캐폴드를 적용하고, 여러 후보 판결(N=10)을 도출한 후, 자체 비판자 역할을 통해 최종적으로 하나의 정제된 판결을 내리는 방식입니다. 이 방법은 기존의 단일 샷 프롬프팅이나 자기 일관성 투표보다 JudgeBench-GPT와 같은 어려운 쌍체 비교 항목에서 높은 성능 향상을 보여주었습니다.

핵심 포인트

• RTLC는 Research, Teach-to-Learn, Critique의 3단계 구조를 가진 LLM 평가 방법론입니다.
• Feynman 학습 기법을 프롬프팅에 적용하여 입력 정보를 교육적 스캐폴드(Pedagogical scaffold)로 감싸는 것이 핵심입니다.
• N=10개의 독립적인 후보 판결과 최종 비판자(Critic)의 역할을 통해 기존 방식 대비 높은 정확도 향상을 달성했습니다.
• RTLC는 자기 일관성 다수결 투표나 제로샷 첫 번째 후보보다 우수한 성능을 보였으며, 각 단계별 기여도를 분석했습니다.