VecCISC: 추론 과정 클러스터링 및 후보 답변 선택을 통한 신뢰도 기반 자기 일관성 개선
요약
본 기사는 대규모 언어 모델(LLM)의 추론 시간 성능 개선 기법인 Self-Consistency를 다루며, 특히 후보 답변에 신뢰도 값을 할당하여 가중치 다수결 투표를 수행하는 CISC 방식의 정확성을 설명합니다. 하지만 이 과정에서 각 후보의 추론 과정을 비평가 LLM(critic LLM)을 호출하여 점수를 매겨야 하므로, 오버헤드와 비용이 크게 증가하는 문제가 있습니다.
핵심 포인트
- Self-Consistency는 여러 샘플링된 답변 중 가장 흔한 것을 선택하는 추론 시간 스케일링 기법이다.
- CISC(Confidence-Informed Self Consistency)는 후보 답변에 신뢰도 값을 할당하여 가중치 다수결 투표를 수행함으로써 정확도를 높인다.
- CISC 구현을 위해서는 각 후보의 추론 과정(reasoning trace)에 대해 비평가 LLM(critic LLM) 호출이 필수적이다.
- 비평가 LLM 호출은 시스템의 오버헤드와 운영 비용을 크게 증가시키는 주요 병목 지점이다.
추론 시간(inference-time)에 대한 스케일링 표준 기법 중 하나는 Self-Consistency로, LLM으로부터 여러 개의 후보 답변을 샘플링하고 가장 흔한 답변을 선택하는 방식입니다. 최근에는 각 후보 답변에 신뢰도 값(confidence value)을 할당하고 누적 점수가 가장 높은 답변을 선택하는 가중치 다수결 투표(weighted majority voting)(예: Confidence-Informed Self Consistency (CISC))가 광범위한 인기 벤치마크에서 더 정확한 경향이 있음이 밝혀졌습니다. 실제로는, 가중치 다수결 투표를 수행하기 위해 각 후보의 추론 과정(reasoning trace)에 대해 비평가 LLM(critic LLM)을 호출하여 답변의 신뢰도 점수를 생성해야 합니다. 이 2차적인 LLM 호출은 오버헤드와 비용을 크게 증가시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기