SafeLLM: 안전이 중요한 환경에서 재작성(Rewriting)의 환각 저항성 대안으로서의 추출(Extraction) 방식

대규모 언어 모델 (LLMs)은 표준 운영 절차 (SOPs), 인사 정책 및 기관 가이드라인을 포함한 조직 문서를 확인하는 데 점점 더 많이 사용되고 있습니다. 그러나 자유 형식의 재작성 (Rewriting)에 의존하는 검색 증강 생성 (RAG) 시스템은 특히 안전 및 준수 (Compliance)가 중요한 환경에서 환각 (Hallucinations)을 유발할 수 있으며, 완전성 (Completeness)과 간결성 (Conciseness) 사이의 불안정한 트레이드오프 (Trade-offs)를 초래할 수 있습니다. 목적: 재작성 기반 RAG의 환각 저항성 대안으로서 추출 (Extraction) 방식을 평가하고, 문서 유형 및 모델 규모 전반에 걸쳐 정밀도 (Precision), 재현율 (Recall) 및 안전성 (Safety)의 균형을 맞추는 전략을 비교합니다. 방법: 행 번호 기반 소스 선택 (Line-number-based source selection), 명시적인 안전 주석이 포함된 관련 가이드라인 문장 추출, 그리고 소스 가이드라인의 뒷받침 근거를 사용하여 초안 답변을 정제하는 다단계 파이프라인 (Multi-stage pipeline)을 포함한 여러 프롬프팅 (Prompting) 전략을 비교합니다. 실험은 프런티어 규모 (Frontier-scale) 모델과 로컬 배포 가능 (Locally deployable) 모델을 모두 사용하여, 지역 NHS 급성기 치료 및 종양학 가이드라인과 영국 전역의 NICE 가이드라인을 포함한 다양한 길이와 구조의 문서에서 수행됩니다. 성능은 자동 지표와 관련성 및 완전성에 대한 인간 전문가 평가를 통해 평가됩니다. 결과: 행 번호 선택 (Line-number selection) 방식이 가장 강력한 결과를 달성하였으며, 높은 용어 재현율 (최대 95%)과 소스 텍스트와의 밀접한 일치성을 유지하면서 대형 및 소형 모델 모두에서 직접 복사 및 안전 중심 전략보다 우수한 성능을 보였습니다. 안전 지향적 접근 방식은 정밀도를 향상시키지만 체계적인 누락을 초래하며, 다단계 필터링 (Multi-stage filtering)은 이러한 트레이드오프를 더욱 증폭시킵니다. 성능은 문서 구조에 따라 달라집니다. 행 기반 추출은 프로토콜 형태의 콘텐츠에서 탁월한 성능을 보이는 반면, 다른 전략들은 더 장황한 문서에서 더 나은 성능을 보입니다 (용어 재현율 최대 97%).