Sketch-of-Thought: 적응형 인지 기반 스케치로 효율적인 LLM 추론 구현

초록 (Abstract)

최근 대규모 언어 모델(LLMs)의 발전은 Chain-of-Thought (CoT) 프롬프팅을 통해 단계별 문제 해결 능력을 이끌어내며 강력한 추론 기능을 가능하게 했지만, 종종 중간 출력물에서 과도한 장황함(verbosity)을 초래하여 계산 오버헤드(computational overhead)를 증가시키는 단점이 있습니다. 본 논문에서는 Sketch-of-Thought (SoT)라는 프롬프팅 프레임워크를 제안합니다. SoT는 인지적으로 영감을 받은 추론 패러다임을 언어적 제약 조건과 통합하여, 추론 정확도를 유지하면서 토큰 사용량을 줄이는 것을 목표로 합니다. SoT는 유연하고 모듈식 접근 방식으로 설계되었으며, Conceptual Chaining, Chunked Symbolism, Expert Lexicons의 세 가지 패러다임으로 구현됩니다. 각 패러다임은 특정 추론 작업에 맞게 조정되었으며, 경량 라우팅 모델(lightweight routing model)에 의해 테스트 시간(test-time)에 동적으로 선택됩니다. 여러 도메인, 언어 및 모달리티를 아우르는 18개의 추론 데이터셋 전반에 걸쳐, SoT는 정확도 손실을 최소화하면서 최대 84%의 토큰 감소율을 달성합니다. 특히 수학적 추론(mathematical reasoning) 및 다단계 추론(multi-hop reasoning)과 같은 작업에서는 출력 길이를 단축하는 동시에 정확도를 향상시키기도 합니다.