예산 감지 라우팅: 긴 임상 텍스트를 위한 최적화 전략

대형 언어 모델 (LLM) 의 핵심 과제는 쿼리당 토큰 비용과 전체 배포 비용입니다. 임상 입력 데이터는 길고, 이질적이며, 종종 중복되어 있지만, 다운스트림 작업은 짧고 고위험합니다. 우리는 엄격한 토큰 예산 하에 문서 단위의 부분 집합을 선택하여 오프더셔프 생성기가 고정된 비용과 지연 시간 제약 조건을 충족하도록 하는 '예산 감지 컨텍스트 선택 (Budgeted Context Selection)'을 연구했습니다. 이는 두 가지 설계 선택, 즉 문서 분할을 정의하는 '유니티제이션 (Unitization)'과 선택된 단위를 결정하는 '선택 (Selection)' 을 가진 knapsack-constrained subset selection problem 으로 재정의되었습니다. 우리는 관련성, 커버리지, 다양성을 균형 있게 맞추는 모노톤 서브모듈러 목적 함수인 RCD를 제안했습니다. 문장, 섹션, 윈도우, 클러스터 기반 유니티제이션을 비교하고 예산 제도에 적응하는 라우팅 휴리스틱을 소개했습니다. MIMIC 방출 메모리, 코크레인 추론서 (abstracts), L-Eval 실험에서 최적 전략은 평가 설정에 의존함을 보여줍니다. 추출 작업의 경우 위치 휴리스틱이 저예산 환경에서 가장 잘 수행되며, 다양성 감지 방법인 MMR 은 LLM 생성을 개선합니다. 선택자 선택이 유니티제이션보다 더 중요하며, 클러스터 기반 그룹화는 성능을 감소시키고 다른 스키마는 유사하게 행동합니다. ROUGE 는 LLM 요약에서 포화 상태에 도달하지만 BERTScore 는 품질 차이를 더 잘 반영합니다. 코드는 https://github.com/stone-technologies/ACL_budget_paper 에서 공개되었습니다.