자기 학습의 재고: 자기 생성 QA 학습의 숨겨진 취약성

요약

합성 QA 데이터를 활용한 언어 모델 학습 과정에서 발생하는 취약성을 분석합니다. 질문 생성 시 특정 구간에 집중되는 커버리지 편향과 답변 생성 시 텍스트 내 지시문에 과도하게 순응하는 문제를 지적합니다.

핵심 포인트

• 합성 QA 생성은 중립적인 전처리가 아닌 암묵적 정책을 따름
• 질문 생성 시 문서의 특정 구간에만 집중되는 커버리지 포화 문제 발생
• 모델이 텍스트 내 지시문 형태의 구절에 과도하게 순응하는 경향 확인
• 질문 대상을 고정하거나 지시문 구간을 필터링하여 편향을 크게 완화 가능