미세 분류 일본 임상 개체명 인식(NER): BERT와 오픈 웨이트 대규모 언어 모델의 제어된 비교
요약
본 기사는 일본 임상 개체명 인식(NER) 작업에서 BERT와 오픈 웨이트 대규모 언어 모델(LLMs)의 성능을 비교 분석했습니다. zero-shot 환경에서는 BERT가 우세했으나, 출력 토큰 제한을 늘리고 미세 조정된 LLM은 BERT를 능가하는 강력한 추출 성능을 보였습니다. 이는 적절한 생성 능력과 도메인별 미세 조정이 NER 성능에 결정적임을 시사합니다.
핵심 포인트
- zero-shot 환경에서는 BERT 기준 모델의 F1 점수가 LLM보다 높았습니다.
- 출력 토큰 제한을 늘린 미세 조정된 LLM은 BERT를 능가하는 높은 성능을 보였습니다.
- 적절한 생성 능력과 도메인별 미세 조정이 강력한 추출 성능에 필수적입니다.
- JSON Schema 같은 구조화만으로는 낮은 zero-shot 정확도를 극복하기 어렵습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기