동결된 LLM를 위한 증거 강조 학습 (Learning Evidence Highlighting for Frozen LLMs)

요약

HiLight는 동결된 대형 언어 모델(LLM)이 긴 컨텍스트에서 중요한 결정적 증거를 놓치는 문제를 해결하기 위해 설계된 '증거 강조' 프레임워크입니다. 이 프레임워크는 경량화된 강조 액터(Emphasis Actor)를 학습시켜, 원본 컨텍스트의 핵심 구간 주변에 최소한의 강조 태그를 삽입합니다. 이후 동결된 LLM 솔버가 이 강조된 입력을 받아 다운스트림 추론을 수행하며, 이는 강화학습(RL)과 약하게 감독된 의사 결정 문제 설정을 통해 최적화됩니다.

핵심 포인트

• HiLight는 LLM의 추론 능력은 유지하면서도 긴 컨텍스트 내 핵심 증거를 놓치는 문제를 해결합니다.
• 강조 액터(Emphasis Actor)가 원본 컨텍스트에 최소한의 태그만 삽입하여 정보 손실이나 왜곡을 방지합니다.
• 이 프레임워크는 강화학습(RL)과 약하게 감독된 의사 결정 문제 설정을 사용하여 증거 강조 정책을 최적화합니다.
• HiLight는 순차적 추천 및 장문맥 QA 등에서 기존의 베이스라인보다 일관되게 높은 성능을 보여줍니다.
• 학습된 강조 정책은 다양한 크기와 종류의 솔버(API 기반 포함)에 제로샷으로 전이되어 재사용성이 높습니다.