LLM 어노테이션을 위한 어노테이션 가이드라인의 정제 및 재사용

대규모 언어 모델 (LLMs)은 제로샷 어노테이션 (zero-shot annotation) 작업에서 놀라운 성능을 보여주지만, 골드 스탠다드 (gold-standard) 벤치마크의 특화된 관례를 다루는 데에는 종종 어려움을 겪습니다. 우리는 정렬 메커니즘 (alignment mechanism)으로서 어노테이션 가이드라인 (annotation guidelines)의 체계적인 재사용 및 정제를 제안하며, 어노테이션 프로젝트의 초기 단계를 시뮬레이션하는 반복적 중재 프레임워크 (iterative moderation framework)를 도입합니다. 우리는 세 가지 가설을 평가합니다: (1) 가이드라인 통합의 효능, (2) 추론에 최적화된 모델의 이점, (3) 최소한의 감독 하에서의 중재 가능성. 세 가지 LLM 제품군 (GPT, Gemini, DeepSeek)을 사용하여 생물 의학 NER (Named Entity Recognition) 작업 (NCBI Disease, BC5CDR, BioRED) 전반에 걸쳐 테스트한 결과, 우리의 연구 결과는 세 가지 가설 모두를 경험적으로 확인해 줍니다. 반복적 중재 프레임워크는 가이드라인을 효과적으로 정제하는 데 있어 좋은 잠재력을 보여주지만, 우리의 분석은 또한 상당한 개선의 여지가 있음을 드러냅니다.