UltraBERT-JEV: 시스템 원(System One) 애플리케이션을 위한 인코더 모델
요약
본 보고서는 텍스트 생성 없이 단일 순방향 패스(forward pass)에서 옵션을 선택하는 인코더 모델 UltraBERT-JEV를 소개합니다. 다양한 미세 조정 레시피들을 비교하며, 특히 LLM-as-Jev 방식을 통해 기존 모델 대비 높은 테스트 정확도 향상을 입증했습니다. 또한, 특정 점수화 방식과 보조 헤드를 활용하여 성능 개선 및 근거 예측 기능을 추가했습니다.
핵심 포인트
- UltraBERT-JEV는 단일 패스로 옵션 선택을 수행하는 인코더 모델입니다.
- LLM-as-Jev 레시피를 통해 Qwen3-0.6B 대비 높은 테스트 정확도 향상을 보였습니다.
- 옵션을 'yes'에서 'no'를 빼서 점수화하는 방식이 외부 벤치마크에서 큰 이득을 가져왔습니다.
- NVIDIA A100 환경에서 결정당 29ms가 소요되며, 메모리 사용량 증가와 교환됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기