이것은 제가 직접 라벨링한 900개의 스캔된 실제 의료 문서에 대한 의료 VQA (Visual Question Answering) 결과입니다. 보안상의 이유로 점수 산정 시 미검출 (False Negatives)에 대해 매우 엄격한 패널티를 부여했습니다...

코딩 작업 벤치마크에서 보여준 것과 동일한 순위가 여기에서도 그대로 이어질 것이라고 생각했으나 그렇지 않았기에 결과가 매우 놀라웠습니다... 이 주제에 대해 여기서 논의해 볼 가치가 있다고 생각했습니다.
클라우드 모델들의 경우, 모두 동일한 (또는 동등한) 사고 과정 (Thinking effort)을 거칩니다.
참고: Qwen 모델들은 구조화된 출력 (Structured outputs)을 강제한 상태에서 사고 모드 (Thinking mode)로 적절한 속도로 실행하는 데 실패했습니다. 한 가지 발견한 점은 Qwen이 Gemma4보다 약 5배 더 오래 추론 (Reasoning)한다는 것입니다.
제출자: /u/Littlepharaoh
[link] [comments]