부정 무시 (Negation Neglect): 모델이 학습 과정에서 부정을 학습하지 못할 때

요약

본 기사는 LLM(Large Language Models)이 특정 주장이 거짓임을 경고하는 문서로 미세 조정될 때도 해당 주장을 사실로 오인하게 되는 '부정 무시(Negation Neglect)' 현상을 다룹니다. 이 현상은 모델이 문맥상으로 부정문을 인식함에도 불구하고, 주장 자체를 마치 사실처럼 받아들이는 문제를 보여줍니다. 실험 결과, 부정문 포함 여부가 모델의 믿음 비율에 큰 영향을 미치며, 이는 AI 안전 및 학습 과정에서의 근본적인 편향을 시사합니다.

핵심 포인트

• '부정 무시(Negation Neglect)' 현상은 LLM이 문서 내에서 주장이 거짓임을 반복적으로 경고받아도 해당 주장을 사실로 오인하는 문제입니다.
• 실험 결과, 부정문 포함 여부가 모델의 믿음 비율을 크게 변화시키며, 이는 단순한 문법적 학습 이상의 근본적인 편향을 반영합니다.
• 부정 무시는 단순히 '부정(Negation)'에 국한되지 않고, '허구(Fictional)'와 같은 다른 인식론적 한정어에도 확장됩니다.
• 이 현상은 모델의 행동까지 영향을 미쳐, 악성으로 표시된 기록 학습 시 실제 채택할 위험을 보여 AI 안전 측면에서 중요합니다.