언어 모델은 숫자 특화 및 단위 특화 휴리스틱을 사용하여 수량을 비교한다
요약
언어 모델이 측정 단위가 포함된 수량을 비교할 때 사용하는 휴리스틱 메커니즘을 분석한 연구입니다. 모델은 수치를 공통 척도로 변환하기보다 숫자와 단위의 차이를 이용한 체계적인 오류를 범하는 경향이 있음이 밝혀졌습니다.
핵심 포인트
- 비교 경계 근처에서 언어 모델의 정확도 저하 확인
- 수치 차이와 단위 척도 차이를 이용한 체계적 오류 발생
- 모델이 공통 척도 변환 대신 휴리스틱에 의존함이 시사됨
- 선형 대리 모델을 통한 모델의 선호도 예측 가능
110 cm 및 1.2 m와 같이 측정 단위가 있는 수량은 언어 모델 (LMs)이 숫자와 기호적 단위 척도 (unit scale)를 결합할 것을 요구합니다. 본 연구에서는 여러 단위 체계에 걸친 통제된 환경에서 언어 모델 (LMs)이 이러한 수량을 어떻게 비교하는지 연구합니다. 우리는 값의 미세한 변화가 정답을 결정하는 비교 경계 근처에서 정확도가 저하된다는 것을 발견했습니다. 결과적으로 발생하는 오류는 체계적입니다. 선형 대리 모델 (linear surrogate models)은 수치 차이 (numerical-difference) 및 단위 척도 차이 (unit-scale-difference) 단서로부터 언어 모델 (LMs)의 선호도를 예측하며, 이러한 변수들과 정렬된 하위 공간 (subspaces)에 대한 인과적 개입 (causal interventions)은 모델의 출력을 변화시킵니다. 이러한 결과는 언어 모델 (LMs)이 두 표현을 정확하고 공유된 척도의 표현으로 먼저 변환하기보다는, 숫자와 단위에 대한 휴리스틱의 집합 (bag of heuristics)을 통해 수량을 비교함을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기