Maya a1: 옵션은 모델을 참조하는가, 아니면 그 위치를 참조하는가? 비(非)자동회귀 결정 모델의 순서 민감성

Laya는 옵션당 하나의 [MASK] 마커에서 은닉 상태(hidden state)를 점수화하여 한 번의 순방향 계산(forward pass)으로 작성된 객관식 질문에 답합니다. 우리는 이 체크포인트(421M 파라미터; 위치 텐서가 없는 2개 레이어 옵션 헤드; 문서화되었으나 사용되지 않은 병렬 레이아웃)를 재설계하고, 답변이 옵션이 나열된 위치에 따라 달라지는지 테스트합니다. 옵션의 모든 순환 회전(cyclic rotation) 하에 951개의 Qwen 검증 질문을 제시하거나(또는 12개 옵션의 경우 여섯 가지 무작위 순열), 공개된 체크포인트는 질문 중 25.8% [22.9-28.7]에서 답변이 변경되며(단지 605개의 영어 항목만으로도 19.7%), 정답 옵션을 첫 번째로 배치했을 때와 마지막으로 배치했을 때의 정확도는 10.1 포인트 차이가 나며, 이러한 변화는 모델 자체의 신뢰도가 낮은 부분에 집중됩니다(신뢰도 삼분위수별로 54% 대 8%).
옵션 순서 섞기(option shuffling)가 적용된 2,818개의 교사 검증 행(teacher-verified rows)으로 Laya의 트레이너를 미세 조정(fine-tuning)하면 변화율이 7.2%로 감소합니다. 순서를 섞지 않은 동일한 행은 11.4%를 보였으므로, 순서 섞기가 개선점 4.2 포인트에 기여합니다.
순서에 대한 신뢰도 가중 투표(confidence-weighted vote)는 단일 기본 계산 대비 컴퓨팅 자원을 4.1배 사용하여 69.7%를 기록하며, 이는 69.1%입니다. 레이블은 대규모 언어 모델(LLM)이 생성했으며 테스트 세트는 교사에 의해 필터링되었습니다. 또한 동일한 행에 대해 저자들의 병렬 레이아웃으로 미세 조정했을 때 변화율은 0.5%였습니다.