Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 LLM의 선택 편향이 구조적 프롬프트에도 지속됨을 확인했습니다. Jev 스타일 시스템 원 행동을 재현한 모델들을 테스트한 결과, Jev 방식은 정확도 변동 폭은 작으나 고정 순서 대비 실패 집합 증가가 컸습니다. 이는 안정적인 정확도가 선택 편향에 대한 저항성을 보장하지 못함을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLM)의 선택 편향은 제시 순서를 무시하거나 추론을 유도하는 프롬프트에도 불구하고 지속될 수 있습니다. Jev 스타일의 시스템 원(System One) 행동을 재현하려는 최근 노력들은 공급된 후보군에 대해 확률을 직접 예측하는 증가하는 가족 모델들을 만들어냈습니다. 하지만 다중 선택 과제에서 Jev 버전, Jev 복제본, 그리고 생성형 LLM 전반에 걸친 선택 편향에 대한 체계적인 비교는 여전히 제한적입니다. 이는 핵심 질문을 남깁니다: Jev 스타일의 의사 결정 구조가 선택 편향을 줄이는가? 우리는 질문과 후보 내용만 고정하고 옵션들을 섞는 간단한 테스트를 통해 이 질문에 접근합니다. 두 가지 Jev 버전, 열두 가지 Jev 복제본, 그리고 여섯 가지 생성형 LLM 전반에 걸쳐, 우리는 여덟 번의 제시 과정 동안 개별 답변을 추적하고 이를 고정 순서 반복과 비교했습니다. 두 개의 벤치마크에서 가져온 1,700개의 질문으로 구성된 우리의 주요 데이터셋에서, Jev의 정확도는 2% 포인트 미만으로 변동하지만, 누적 실패 집합은 원래 순서 대비 27~29% 증가하며, 첫 번째 실패는 마지막 제시 과정까지 이어집니다. 이러한 초기 성공의 손실은 매우 반복 가능한 Jev 복제본에서도 고정 순서 반복보다 훨씬 큽니다. 또한 Jev는 올바른 선택을 보존하는 데 있어 LLM 기준 모델 대비 일반적인 이점을 보여주지 못합니다. 집계(Aggregation) 역시 제한적인 보호 효과를 제공합니다: 투표는 Jev에 대해 적당한 향상을 가져오지만, 만장일치로 나온 답변조차도 자주 틀립니다. 이러한 결과들은 반복 가능한 결정과 동등한 제시 과정에서도 올바르게 유지되는 결정 사이에 간극이 있음을 노출하며, 안정적인 정확도만으로는 선택 편향에 대한 저항성을 입증할 수 없다는 것을 보여줍니다.