예산 감지 라우팅: 긴 임상 텍스트를 위한 최적화 전략

요약

본 논문은 긴 임상 텍스트를 처리하는 대형 언어 모델(LLM)의 비용 및 지연 시간 제약 문제를 해결하기 위해 '예산 감지 컨텍스트 선택(Budgeted Context Selection)' 전략을 제시합니다. 이 방법론은 문서 단위의 부분 집합을 선택하여, 고정된 토큰 예산 내에서 관련성, 커버리지, 다양성을 최적화하는 knapsack-constrained subset selection 문제로 재정의됩니다. 연구진은 RCD라는 모노톤 서브모듈러 목적 함수를 제안하고, 다양한 유니티제이션 및 라우팅 휴리스틱을 비교 분석하여 LLM 성능 향상에 기여합니다.

핵심 포인트

• LLM 배포 비용과 지연 시간 문제를 해결하기 위해 '예산 감지 컨텍스트 선택' 프레임워크를 도입했습니다.
• 이 문제는 관련성, 커버리지, 다양성을 균형 있게 맞추는 knapsack-constrained subset selection 문제로 모델링되었습니다.
• 제안된 목적 함수 RCD(Relevance, Coverage, Diversity)는 최적의 컨텍스트 부분 집합을 선택하는 데 사용됩니다.
• 실험 결과, 선택 단계가 문서 분할(유니티제이션)보다 더 중요하며, 추출 작업에는 위치 휴리스틱이 효과적임을 입증했습니다.