10억 파라미터 미만, 슈퍼 프런티어: 일반 및 문학적 관계 추출에서 제로샷 프런티어 LLM과 경쟁하는 소형 언어 모델 (SLM)

대규모 언어 모델 (LLMs)은 강력한 관계 추출 (Relation Extraction, RE) 성능을 달성하지만, 높은 계산 요구량과 독점 API에 대한 의존성으로 인해 자원이 제한되거나 개인정보 보호가 중요한 환경에서의 배포가 제한됩니다. 본 연구에서는 소형 언어 모델 (Small Language Models, SLMs)이 일반 도메인 및 문학 텍스트 전반에 걸쳐 이러한 격차를 얼마나 좁힐 수 있는지 조사합니다. 우리는 세 가지 도메인 구성 체제와 두 가지 프롬프트 조건부 튜닝 스타일 (30가지 구성) 하에서 360M에서 3B 파라미터 사이의 5개 모델을 평가하며, 이를 제로샷 프런티어 LLM 및 판별적 RoBERTa 베이스라인과 비교합니다. 9개의 벤치마크 전반에 걸쳐, 풀링된 일반 도메인 데이터로 미세 조정(fine-tuned)된 최고의 10억 미만 모델인 Qwen2.5-0.5B는 일반 도메인 양성 클래스 micro-F1 점수 0.83을 달성하였으며, 이는 제로샷으로 평가된 GPT-5.4의 0.69 및 Claude Sonnet 4.6의 0.66보다 높습니다. 이것이 SLM이 본질적으로 더 강력하다는 것을 의미하지는 않습니다. 오히려 타겟팅된 작업 적응 (task adaptation)을 통해 단일 소비자용 GPU에서 배포 가능한 4-bit 모델이 이 프로토콜 하에서 범용 프런티어 시스템을 능가할 수 있음을 보여줍니다. 도메인 내 RoBERTa 베이스라인 또한 두 프런티어 모델을 모두 능가하며, 이는 성능 향상이 생성적 디코딩 (generative decoding)보다는 작업 적응에서 비롯됨을 나타냅니다. 문학적 RE에서, 튜닝된 SLM은 인간이 주석을 단 Biographical 벤치마크에서 0.92를 기록하여 GPT-5.4의 0.83을 상회하였고, 두 벤치마크 문학 평균에서는 0.833 대 0.578을 기록했습니다. 타겟팅된 도메인 적응형 사전 학습 (domain-adaptive pretraining) 사례 연구는 지도 미세 조정 (supervised fine-tuning) 대비 실질적으로 의미 있는 이득을 보여주지 못했으며, 가장 깨끗한 패밀리 내 규모 비교 (within-family scale comparison)에서도 미미한 개선만을 보여주었습니다. 이러한 결과는 작업별 데이터가 가용할 때, 컴팩트한 작업 적응형 모델이 정확하고, 프라이버시를 보호하며, 하드웨어 효율적인 RE를 제공할 수 있음을 보여줍니다.