Sketch-of-Thought: 인지적 영감을 받은 적응형 스케치링을 통한 효율적인 LLM 추론
요약
Sketch-of-Thought (SoT)는 LLM의 단계별 문제 해결 능력을 강화한 CoT 프롬프팅의 과도한 계산 오버헤드 문제를 해결하기 위해 제안된 새로운 추론 프레임워크입니다. SoT는 인지적 영감을 받은 패러다임을 통합하여, 토큰 사용량을 획기적으로 줄이면서도 높은 추론 정확도를 유지하는 것을 목표로 합니다. 이 프레임워크는 Conceptual Chaining, Chunked Symbolism, Expert Lexicons 세 가지 모듈식 접근 방식을 포함하며, 경량 라우팅 모델을 통해 테스트 시점에 동적으로 최적의 방법을 선택합니다.
핵심 포인트
- SoT는 CoT의 장점(단계별 추론)은 유지하면서 발생하는 과도한 토큰 사용 및 계산 오버헤드를 줄이는 것을 목표로 합니다.
- 세 가지 핵심 패러다임(Conceptual Chaining, Chunked Symbolism, Expert Lexicons)을 통해 유연하고 모듈화된 접근 방식을 제공합니다.
- 경량 라우팅 모델을 사용하여 테스트 시점에 가장 적합한 추론 전략을 동적으로 선택할 수 있습니다.
- 18개 데이터셋에서 최대 84%의 토큰 감소를 달성했으며, 일부 작업에서는 정확도까지 개선하는 결과를 보였습니다.
Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching
Abstract
최근 대형 언어 모델 (Large Language Models, LLMs) 의 발전은 Chain-of-Thought (CoT) 프롬프팅을 통해 단계별 문제 해결 능력을 강화시켰지만, 중간 출력의 과도한 장황함으로 인해 계산 오버헤드가 증가하는 단점이 있습니다. 우리는 인지적 영감을 받은 추론 패러다임과 언어적 제약을 통합하여 토큰 사용량을 줄이면서 추론 정확도를 유지하는 프롬프팅 프레임워크인 Sketch-of-Thought (SoT) 을 제안합니다. SoT 는 유연하고 모듈화된 접근 방식으로 설계되었으며, Conceptual Chaining, Chunked Symbolism, Expert Lexicons 라는 세 가지 패러다임으로 구현되었습니다. 각 패러다임은 서로 다른 추론 작업에 맞춰져 있으며, 경량 라우팅 모델을 통해 테스트 시간 (test-time) 에 동적으로 선택됩니다. 다수의 도메인, 언어, 모달리티를 아우르는 18 개 추론 데이터셋에서 SoT 는 최대 84% 의 토큰 감소를 달성하면서도 정확도 손실은 최소화했습니다. 수학 및 멀티홉 추론과 같은 작업에서는 출력을 줄이는 동시에 정확도를 개선하기도 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기