LLM 정렬 (Alignment) 기술에 대한 종합적인 조사: RLHF, RLAIF, PPO, DPO 및 기타

요약

LLM의 정렬(Alignment) 기술인 RLHF, RLAIF, PPO, DPO 등 다양한 방법론을 종합적으로 조사한 내용입니다. 모델이 인간의 의도에 부합하도록 학습시키는 핵심 기술들을 다룹니다.

핵심 포인트

• RLHF, RLAIF 등 주요 정렬 방법론 비교
• PPO 및 DPO 알고리즘의 특징 분석
• LLM의 안전성과 의도 부합성을 높이는 기술 조사