추론 능력으로 사고하기: 적은 토큰, 높은 정확도
요약
기존의 LLM 기반 추론(CoT)은 복잡한 문제 해결 시 긴 중간 과정을 생성하는 데 많은 토큰을 소모합니다. 이 논문은 이러한 문제를 해결하기 위해, 광범위한 탐색과 시행착오를 통해 얻은 '재사용 가능한 추론 스킬'을 요약하고 저장하여 검색(Retrieval) 기반으로 활용하는 방법을 제안합니다. 이를 통해 모델이 매번 처음부터 추론하는 대신 관련 스킬을 불러와 사용함으로써, 토큰 소모는 줄이고 문제 해결 정확도는 높일 수 있습니다.
핵심 포인트
- 기존 LLM의 CoT 방식은 긴 중간 과정을 생성하여 높은 토큰 비용과 비효율성을 야기합니다.
- 제안된 방법은 '재사용 가능한 추론 스킬'을 미리 추출하고 저장한 후, 추론 시 관련 스킬을 검색(Retrieval)하여 활용합니다.
- 이 접근법은 모델이 불필요한 탐색 경로를 피하게 하여 토큰 사용량을 크게 줄이는 동시에 전반적인 성능을 향상시킵니다.
- 코딩 및 수학적 추론 과제 평가 결과, 경제성과 실용성이 입증되었습니다.
추론 LLM(Reasoning LLMs)은 새로운 문제를 해결할 때 긴 중간 추론 과정(예: chain-of-thought)에 상당한 토큰을 소비하는 경향이 있습니다. 본 논문에서는 광범위한 숙고와 시행착오 탐색을 통해 추출된 재사용 가능한 추론 기술(reasoning skills)을 요약하고 저장하며, 이를 추론 시간(inference time)에 검색하여 미래의 추론 과정을 안내하도록 제안합니다. 기존의 처음부터 추론하는(reasoning from scratch) 패러다임과 달리, 저희 접근 방식은 각 쿼리에 대해 관련 기술을 먼저 회상(recall)함으로써 모델이 불필요한 우회 경로를 피하고 효과적인 해결 경로에 집중할 수 있도록 돕습니다. 코딩 및 수학적 추론 과제에서 저희 방법을 평가한 결과, 추론 토큰을 크게 줄이는 동시에 전반적인 성능을 향상시키는 것을 발견했습니다. 그 결과로 나타난 요청당 낮은 비용은 실제 세계 배포(real-world deployment)에 강력한 실용적 및 경제적 잠재력을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기