Multi-Turn LLM 평가에서 이벤트 발생까지의 반복 횟수: 다중 턴 LLM 평가에 대한 동적 예산 할당

다중 턴 대화 설정에서 대형 언어 모델 (LLM) 의 성능을 평가하고 예측하는 것은 중요하지만 계산 비용이 큽니다. 주요 사건 -- 예를 들어, 제일브레이크 (jailbreak) 또는 에이전트의 성공적인 작업 완료 -- 는 종종 반복적인 상호작용 후에만 발생합니다. 이러한 사건은 희귀할 수 있으며, 어떤 실현 가능한 계산 예산 하에서도 관찰되지 않을 수 있습니다. 최근 공분산 생존 프레임워크는 관심사 이벤트의 발생을 트리거하는 반복 횟수에 대한 신뢰할 수 있는 하위 예측 한계 (LPB) 를 구축하지만, 다중 턴 설정에서 비효율적입니다. 이를 해결하기 위해 우리는 “PRojected Optimization 를 통한 동적 할당” (DAPRO) 을 소개합니다. DAPRO 는 다중 턴 LLM 상호작용에서 이벤트 발생 시간의 경계를 설정하는 첫 번째 이론적으로 유효한 동적 예산 할당 프레임워크입니다. 우리는 DAPRO 가 예산 제약을 만족하며, 이전 공분산 생존 접근법이 가정하는 감추기 (censoring) 와 사건 시간 간의 조건부 독립성을 요구하지 않고 분포에 무관한 유한 샘플 커버리지 보장을 제공합니다. 주요 이론적 기여는 평균 감추기 중량과 가장 나쁜 경우의 중량이 아닌 제곱근으로 스케일링하는 새로운 커버리지 한계입니다. 이는 이전 작업보다 증명적으로 더 엄밀한 보장을 제공합니다. 또한, DAPRO 는 제한된 컴퓨팅 자원 하에서 제일브레이크율과 같은 인구 수준 평가 지표에 대한 편향 없는 저분산 추정을 얻을 수 있습니다. Llama 3.1 과 Qwen 2.5 와 같은 LLM 을 사용하여 에이전트 작업 성공, 악의적 제일브레이크, 유해 콘텐츠 생성, RAG 환각 등 다양한 분야에서 수행된 종합 실험은 DAP RO 가 고정된 베이스라인보다 더 낮은 분산으로 명목 수준에 가까운 커버리지를 달성하며 예산 제약을 만족함을 보여줍니다.