인공적 에파나스토시스(Artificial Epanorthosis): 대규모 언어 모델이 왜 고전적 수사법을 남용하는가, 그리고 이를 어떻게
요약
LLM이 훈련 데이터와 RLHF의 영향으로 '에파나스토시스(자기 수정 수사법)'를 남용하는 현상을 분석한 연구입니다. 모델이 문체(register)에 따라 수사법을 과잉 또는 과소 사용하는 미조정 상태임을 밝히고, LoRA 및 SFT를 통한 교정 방안을 제시합니다.
핵심 포인트
- LLM이 홍보용 문체와 RLHF 보상 체계로 인해 특정 수사법을 남용함
- 에파나스토시스 지수를 통해 인간 대비 모델의 수사법 밀도 측정 가능
- 문체(연설문 vs 비공식 질의응답)에 따라 수사법 사용의 미조정 현상 발견
- LoRA 및 SFT 어댑터를 활용해 수사법 사용량을 인간 수준으로 교정 가능
키케로(Cicero)와 퀸틸리아누스(Quintilian)가 2,000년 전에 분류했던 수사법이 대규모 언어 모델(Large Language Models, LLMs)의 텍스트에서 체계적으로 다시 나타나고 있습니다. 그것은 바로 «이것은 강의가 아닙니다. 변화를 위한 여정입니다»와 같은 예시에서 볼 수 있는 자기 수정(self-correction)인 에파나스토시스(epanorthosis)입니다. 본 에세이는 이러한 남용이 훈련된 성향임을 주장합니다. 이는 주로 홍보용 산문(promotional prose)이 풍부한 훈련 분포(training distribution)와, 자신감 있고 강조적인 문구에 보상을 주는 선호도 튜닝(Preference Tuning, RLHF)에 의해 유발됩니다. 생성의 좌측에서 우측으로 진행되는 특성(left-to-right nature)은 근본 원인이라기보다는 증폭기에 가깝습니다. 모델이 인간의 수사적 스타일에서 벗어난다는 증거와, 에파나스토시스를 사고의 수사법(figure of thought)으로 분류한 폰타니에(Fontanier)의 분류를 바탕으로, 본 연구는 에파나스토시스 지수(Epanorthosis Index, 인간의 비율 대비 밀도)를 통해 장르별 인간 기준치와 해당 수사법을 비교하는 프로그램을 제시합니다. 하나의 지시어 튜닝(instruction-tuned) 모델 제품군 중 세 가지 크기를 대상으로 한 첫 번째 측정 결과, 레지스터(register, 문체/격식)에 따라 양방향으로 미조정(mis-calibration) 상태임이 발견되었습니다. 모델은 연설문(oratory)에서는 과잉 사용하고(약 2배, 이탈리아어의 경우 3배에 육박하며 규모가 큰 모델 계층에 집중됨), 비공식적인 질의응답(informal question-and-answer) 작성에서는 과소 사용하는 반면, 논증(argument), 저널리즘(journalism), 백과사전적 산문(encyclopedic prose)에서는 인간과 일치하는 모습을 보였습니다. 이어지는 세 가지 건설적인 기여는 다음과 같습니다: 경량 LoRA 어댑터(LoRA adapters)를 중심으로 한 완화 기술(mitigation techniques) 조사; 이탈리아어를 통해 단 한 줄의 지시어(instruction)만으로도 해당 수사법을 절반에서 4분의 3 가까이 줄일 수 있으며, 지도 미세 조정(Supervised Fine-Tuning, SFT) 어댑터는 감소율을 인간의 비율로 조절할 수 있는 스케일링 계수(scaling coefficient)와 함께 이를 거의 완전히 제거할 수 있음을 입증; 그리고 목표는 제거가 아니라 각 장르에 대해 인간의 비율로 교정(calibration)하는 것이라는 주장입니다. 마지막으로 본 논문은 그 위험성을 경고하며 마무리합니다: 진짜 위험은 우리가 기계처럼 글을 쓰기 시작하는 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기