GPT-2로 Supervise된 GPT-4: 약한 감독의 한계와 재발견

요약

대규모 사전 훈련 모델은 뛰어난 원시 능력을 지니지만, 이를 완전히 끌어내려면 강력한 감독이 필요함을 시사합니다. 흥미로운 점은 GPT-2가 약한 감독으로 학습된 GPT-4 모델이, 인간이 직접 Supervise한 GPT-3.5의 성능 수준까지 회복했다는 사실입니다. 이는 약한 감독 방식이 오히려 어려운 문제까지 해결하도록 일반화하는 데 성공했음을 보여줍니다.

핵심 포인트

• 대규모 사전 훈련된 모델은 뛰어난 원시 능력을 보유하지만, 이를 완전히 활용하기 위해서는 단순한 약한 감독만으로는 부족함이 있음
• GPT-2에 의해 Supervise된 GPT-4 모델이 인간에 의해 Supervise된 GPT-3.5의 성능 수준으로 회복됨을 확인함
• 약한 감독 방식이 오히려 어려운 문제까지 해결하도록 일반화하는 데 성공하여 기존 기대를 뛰어넘는 결과를 보임