Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 질문 순서 효과를 분석하기 위해 양자 질문 등식(QQ)을 감사 기준으로 활용하는 연구를 소개합니다. 연구 결과, 현재의 다음 토큰 로그 확률 방식은 모델의 포화 상태로 인해 분포 수준의 QQ 감사를 수행하기에 불충분함을 밝혀냈습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인간 설문 응답자들은 투영 양자 질문 순서 모델(projective quantum question-order model)의 사전적(a priori), 매개변수 없는(parameter-free) 예측인 QQ (quantum question) 등식을 만족하는 질문 순서 효과(question-order effects)를 나타냅니다. 우리는 QQ 등식을 자기회귀 대규모 언어 모델(autoregressive LLMs)의 순차적 판단에 대한 감사 기준(audit criterion)으로 발전시켰습니다. 이론적으로, 우리는 어떤 메커니즘 클래스가 이를 견고하게 만족하는지 특성화합니다: 한계 독립 커널(marginal-independent kernels)은 네 가지 불일치 전이율(mismatch transition rates)이 모두 일치할 때만 QQ를 만족합니다(이는 상태 변화 하에서 고정된 측정 쌍을 가진 2D rank-1 투영 모델을 포함하는 클래스입니다). 극성 및 위치 의존적 반복 패밀리(polarity- and position-dependent repetition family)는 폐쇄형 위반(closed-form violations)을 갖는 정확한 교차 대칭(cross-symmetry) 조건에 의해 특성화됩니다. QQ를 만족하는 행동은 순서 일치 혼합(order-matched mixing)에 대해 닫혀 있습니다. 또한 rank-2 기본 맥락성(Contextuality-by-Default) 기준은 감사 좌표로 $| ext{qQQ}| \le \text{OSS}$로 변환되며, 여기서 $\text{OSS}$ (순서 민감도 점수, order-sensitivity score)는 두 한계(marginals)의 순서 민감도 총합입니다. 방법론적으로, 우리는 다음 토큰 로그 확률(next-token log-probabilities)을 노출하는 모든 모델에 적용 가능한, 사전 지정되고 감사 로그가 기록된 파이프라인을 개발했습니다. 이는 최악의 경우 강건성 엔벨로프(worst-case robustness envelopes), 샘플링 일관성 점검(sampling-consistency spot checks), 전체 라벨 균형 맞추기(full label counterbalancing), 그리고 포화 진단(saturation diagnostic)을 결합합니다. 실증적으로, 두 가지 프레이밍 하에서 오픈 웨이트(open-weight) 지시어 미세 조정(instruction-tuned) 모델을 대상으로 한 첫 번째 신호 파일럿 테스트 결과, 모든 사전 지정된 상태 점검(health gates)을 통과했으나, 각각 17/18 및 7/8개의 항목 쌍이 포화(saturated, 거의 결정론적) 상태였으며, 잔여적으로 맥락성을 인증받은 항목은 없었습니다. 따라서 강제 이진(forced-binary) 다음 토큰 로그 확률은 테스트된 모델 및 프롬프팅 조건 하에서 분포 수준의 QQ 감사를 수행하기에 불충분했습니다. 우리는 다음 토큰 분포를 설문 응답 분포로 취급할 때마다 사전 지정된 포화 진단을 사용할 것을 권장합니다.