요약

Sketch-of-Thought (SoT)는 LLM의 단계별 문제 해결 능력을 강화한 CoT 프롬프팅의 과도한 계산 오버헤드 문제를 해결하기 위해 제안된 새로운 추론 프레임워크입니다. SoT는 인지적 영감을 받은 패러다임을 통합하여, 토큰 사용량을 획기적으로 줄이면서도 높은 추론 정확도를 유지하는 것을 목표로 합니다. 이 프레임워크는 Conceptual Chaining, Chunked Symbolism, Expert Lexicons 세 가지 모듈식 접근 방식을 포함하며, 경량 라우팅 모델을 통해 테스트 시점에 동적으로 최적의 방법을 선택합니다.

핵심 포인트

• SoT는 CoT의 장점(단계별 추론)은 유지하면서 발생하는 과도한 토큰 사용 및 계산 오버헤드를 줄이는 것을 목표로 합니다.
• 세 가지 핵심 패러다임(Conceptual Chaining, Chunked Symbolism, Expert Lexicons)을 통해 유연하고 모듈화된 접근 방식을 제공합니다.
• 경량 라우팅 모델을 사용하여 테스트 시점에 가장 적합한 추론 전략을 동적으로 선택할 수 있습니다.
• 18개 데이터셋에서 최대 84%의 토큰 감소를 달성했으며, 일부 작업에서는 정확도까지 개선하는 결과를 보였습니다.