요약

AutoThink는 쿼리의 복잡도를 분석하여 계산 자원을 적응적으로 할당함으로써 로컬 LLM의 추론 효율성과 성능을 향상시키는 기법입니다. 이 방법은 쿼리를 복잡도에 따라 분류하고, 이에 맞춰 '생각 토큰(thinking tokens)'을 차등적으로 할당하는 것이 핵심입니다. 또한, Microsoft Phi-4 논문의 Pivotal Token Search에서 영감을 받은 스티어링 벡터를 활용하여 모델의 추론 패턴을 안내함으로써 높은 정확도를 달성합니다.

핵심 포인트

• 쿼리 복잡도에 따른 적응적 자원 할당: 모든 쿼리에 동일한 계산 자원을 투입하는 대신, 난이도(HIGH/LOW)에 따라 필요한 토큰 양을 차등적으로 배분하여 효율성을 극대화합니다.
• 스티어링 벡터를 통한 추론 패턴 제어: Pivotal Token Search에서 유래된 스티어링 벡터를 사용하여 모델의 자기 교정, 정확한 탐색 등 원하는 행동 방식을 능동적으로 안내할 수 있습니다.
• 뛰어난 성능 향상 입증: GPQA-Diamond 벤치마크에서 베이스라인 대비 약 43%의 상대적 개선을 보여주었으며, 적은 토큰 사용으로도 높은 효율성을 유지합니다.
• 높은 호환성 및 접근성: DeepSeek, Qwen 등 다양한 로컬 LLM 모델과 API 의존성 없이 쉽게 통합할 수 있습니다.