우리는 POPE 벤치마크에서 최근의 환각 완화 결과를 재현하는 것을 목표로 했습니다. 우리가 측정한 LLaVA-1.5-7B 기준 모델은 적대적(adversarial) 분할에서 F1 점수 82.21을 기록했는데, 이는 비교를 계획했던 적대적 기준선들(81.00, 79.30, 73.54)보다 1.21점에서 8.67점 높은 수치였습니다. 우리는 평가 코드를 살펴보고 F1 점수를 자체적으로 변화시키는 판독 방식(readout choice)을 발견했습니다. 두 개의 토큰 로짓 판독은 두 어휘 ID, 즉 3582("yes")와 1217("no")를 비교하여 예/아니오를 결정합니다. 세 분할에 걸쳐 총 9,000개의 탐욕적 디코딩(greedy-decode) 질문을 분석했을 때, 이 두 ID는 단 한 번도 생성되지 않았습니다. 모델은 " Yes"(토큰 3869)와 " No"(토큰 1939)를 방출하는데, 이는 SentencePiece가 프롬프트 접미사 "ASSISTANT:" 뒤에 공백 바이트를 추가하기 때문입니다. 공백이 붙은 표면 형태(space-prefixed surface forms)를 포괄하는 8개 토큰 조회 방식을 사용했을 때, LLaVA-1.5-7B는 적대적, 인기(popular), 무작위(random) 분할에서 각각 F1 점수 0.8221, 0.8498, 0.8713을 기록했습니다. 이 6.13점의 적대적 변화 폭은 우리가 조사한 여섯 논문 중 다섯 개가 보고한 적대적 이득보다 큰 수치입니다. 그들 중 어느 것도 판독 방식을 명시하지 않았으며, 우리의 기준 모델은 4비트 NF4 양자화(quantization) 하에서 실행되었기 때문에, 일치하는 평가가 어떤 보고된 이득을 유지할 수 있을지 말할 수 없습니다. 이 비교는 판독 방식과 정밀도가 일치할 때까지 해결되지 않습니다. 고정된 기준 모델에 대해서는 자체적으로 9가지 추론 시간 수정(inference-time corrections)을 실행했지만 (어느 것도 이를 능가하지 못함), 적대적 분할이 로짓 수준의 개입에 저항하는 이유를 분석했습니다. 3,000개 질문 탐색에서 잘못된 예측이 올바른 예측보다 더 많은 이미지 주의(image attention)를 끌었습니다 (Cohen's $d=-0.46$, $p=1.4\times10^{-24}$), 이는 접지 기반 수정(grounding-based corrections)이 가정하는 것과는 반대되는 결과입니다. 세 개의 토크나이저 계열에서 가져온 네 개의 추가 VLM(Vision-Language Model)에 대한 4가지 판독 감사(four-readout audit)는 이 혼란 요인이 모델 특정적이라기보다는 프로토콜 수준의 문제임을 확인시켜 주었습니다. LLaVA-1.5 ID를 문자 그대로 포팅하면 두 분리된 어휘 모델에서 F1 점수가 0.00으로 떨어지는 반면, 토크나이저 기반 판독은 0.80에서 0.92 사이의 값을 유지했습니다.