TypeSafe의 Jev와 같은 유형 결정 모델(Typed Decision Models)은 System One 또는 System 1 모델이라고도 불리며, 입력에 대한 유형화된 질문에 각 옵션별 확률로 답변하며 학습이 필요 없습니다. 많은 NLP 논문들은 여전히 작업별 분류기(task-specific classifier)를 미세 조정하고 있으며, 프롬프트가 적용된 대규모 언어 모델(LLMs)은 대부분의 텍스트 분류 벤치마크에서 이러한 분류기를 추적합니다. 우리는 유형 결정 모델이 각 논문의 자체 평가 하에 이들 미세 조정된 분류기 중 몇 개를 대체할 수 있는지, 그리고 대체할 수 없는 경우 무엇이 필요한지 질문했습니다.
우리는 24개 ACL 학회 논문의 예측기(predictor)를 Jev로 교체하고, 각 논문의 분할 데이터셋(splits), 레이블 정의 및 메트릭을 유지한 채 Cloudflare의 Clef, Microsoft-Decision-1, 그리고 OpenAI의 GPT-6 Luna Decisions를 사용하여 결과를 확인했습니다. 그 결과로 나온 46개의 영어 테스트 세트는 질문과 출판된 점수를 포함하며 TDM-Gauntlet 벤치마크를 형성합니다.
제로샷 프롬프트(zero-shot prompt)만으로 Jev는 46개 테스트 세트 중 12개에서 논문의 예측기를 직접 대체했으며, 이는 대부분 평범한 레이블을 가진 단일 판단이었지만, 논문의 방법이 그 레이블로 학습된 경우는 드물었습니다. Jev가 낮은 점수를 기록한 경우, 우리는 가장 자주 해당 부족분을 레이블 이름에 명시되지 않은 주석 규칙(annotation convention) 때문이라고 분석했습니다.
사용자가 관리하는 GPU 없이 500개의 학습 레이블과 검증 데이터셋을 사용하고 보정(calibration) 및 GEPA 스타일의 프롬프트 최적화를 적용했을 때, 논문의 방법 대비 중앙값 72%의 격차를 해소했으며, 이는 기성품 GEPA가 해소한 값의 약 두 배에 해당하며 검색당 평균 $1.66이었습니다. 동일한 레이블을 사용했을 때, RoBERTa나 DeBERTa와 같은 미세 조정된 인코더는 59%를 해소했고, 오픈 LLM인 Qwen3.8-27B의 LoRA 미세 조정은 97%를 해소했습니다.
미세 조정이 여전히 가장 정확한 옵션이지만, 평범한 레이블의 경우 제로샷 프롬프트만으로 충분하며, 프롬프트 최적화가 나머지 대부분의 격차를 해소합니다.