의사 결정 헤드(decision head)는 상태(state)와 옵션 목록을 읽고 단일 순전파(forward pass)에서 각 옵션별 확률을 반환합니다. 배포된 후에는 일반적으로 선택한 옵션이 맞았는지 여부, 즉 기록된 밴딧 피드백(logged bandit feedback)만을 관찰할 수 있습니다. 우리는 이러한 헤드를 해당 피드백으로부터 적응시키고, Qwen3-0.6B-Base와 1.7B-Base에 LoRA를 적용하여 세 가지 결과를 보고합니다.
첫째, 샘플링된 행동 자체의 확률에 대한 Brier 또는 로그 점수는 사용 가능한 REINFORCE 보상이 아닙니다. 모든 잘못된 행동은 적어도 골드(gold)의 보상을 얻으며, 평균 기준선(mean baseline)에서는 가장 낮은 확률을 가진 잘못된 행동이 가장 큰 이점을 받고, 옵션이 두 개일 때는 신호가 0이 됩니다. 한 실행에서 순서형 척도 질문에 대한 정확도를 .636에서 .111로 떨어뜨렸습니다. 경로별 기울기(pathwise gradient)를 사용하여 확률을 손실로 점수화하는 방식은 REINFORCE 보상 r 및 r minus p와 마찬가지로 붕괴(collapse)를 방지합니다.
둘째, 전체 레이블을 사용했을 때, 테스트된 네 가지 밴딧 팔(bandit arms) 중 어느 것도 네 개의 보지 못한 레이블 스키마에 걸친 평균 예상 교정 오차(mean expected calibration error, ECE) 측면에서 크로스 엔트로피에 온도(temperature)를 더한 값보다 우수하지 않았습니다.
셋째, 기록된 피드백만으로도 선택된 행동의 확률에 대한 적절한 점수(proper score)를 사용하는 직접적인 방식인 Chosen-Action Proper Scoring (CAPS)이 부정적 사례를 폐기하는 확정된 답변만을 이용한 미세 조정(fine-tuning)보다 우수합니다. Banking77에서는 정확도 포인트 2.6점, ECE .053 감소 및 낮은 선택적 위험(selective risk)(기준선 시드 대비 세 가지 시드), 그리고 자주 틀리는 로거가 있는 감정 데이터에서 한 시드를 기준으로 21.7점 향상을 보였습니다.
N 5000에서 CAPS는 전체 레이블 시드 대비 0.6B 모델에서 1.5점 낮고 1.7B 모델에서 0.6점 낮은 수준을 유지했으며, 편향 가중치(propensity weights)는 이 로그에서는 아무런 추가 효과를 보이지 않았습니다. 알려진 비율로 뒤집힌 피드백 하에서 (각 비율당 한 시드로), CAPS의 신뢰도는 평균적으로 노이즈 채널을 추적하며, 역방향 수정(backward correction)은 대부분의 깨끗한 교정(clean calibration)을 복구했고, 보류된 기록 결과에 대한 조기 중단(early stopping)은 세 가지 실행 모두에서 노이즈가 섞인 추출값(noisy draws)을 암기하는 것을 방지했습니다.
코드, 어댑터, 로그 및 개별 기록 결과는 공개되어 있습니다.