찾는 것보다 판단하는 것이 더 쉽다: 예시 선택을 위한 인컨텍스트 학습(In-Context Learning) 성공 예측

요약

인컨텍스트 학습(ICL)에서 최적의 예시를 찾는 비용을 줄이기 위해, 예시를 찾는 것보다 성공 여부를 판단하는 것이 더 효율적이라는 가설을 바탕으로 DiSP 프레임워크를 제안합니다. DiSP는 쿼리 난이도를 예측하고 샘플링된 예시의 성공률을 판단하는 방식을 통해, 기존 방식 대비 정확도를 높이면서도 추론 속도를 최대 23배까지 개선했습니다.

핵심 포인트

• 최적의 예시 조합을 찾는 것보다 특정 예시의 성공 여부를 판단하는 것이 더 저렴하고 일반적임
• DiSP 프레임워크는 쿼리 난이도 계층화, 경량 라우터, 수준별 판단기를 활용한 샘플링 및 판단 구조를 가짐
• Llama 3-8B 및 Qwen 2.5-7B 모델 실험 결과, 기존 베이스라인 대비 정확도는 최대 3.4% 향상됨
• 실시간 추론 속도(wall-clock speedup)를 최대 23배까지 단축하여 효율성을 입증함