샘플링되지 않은 진실: SLM의 심리측정학은 심리적 구성 개념이 아닌 프롬프트 아티팩트를 측정한다

요약

SLM(소형 언어 모델)의 심리측정 평가 시 모델의 출력이 실제 추론 능력이 아닌 프롬프트 구성 요소에 의한 아티팩트를 측정할 위험이 있음을 밝힙니다. 연구팀은 프롬프트 변형 프레임워크를 통해 모델이 심리적 특성보다 프롬프트 준수 여부에 더 크게 반응함을 증명했습니다.

핵심 포인트

• SLM의 심리측정 결과가 프롬프트 아티팩트에 의해 왜곡될 수 있음
• 페르소나, 지시 사항 등 프롬프트 변형이 결과에 큰 영향을 미침
• 모델이 심리적 특성보다 프롬프트 준수 능력을 우선 반영함
• 의미론적 신호와 아티팩트를 분리하는 진단 프레임워크 제안