Many-Shot CoT-ICL: In-Context Learning을 진정으로 학습하게 만들기

요약

본 연구는 In-context learning(ICL) 중에서도 추론 과정이 필요한 many-shot Chain-of-Thought ICL (CoT-ICL)에 초점을 맞추어, 기존의 스케일링 규칙이 전이되지 않음을 보여줍니다. 연구진은 CoT 데모 증가가 비추론 작업보다 추론 지향 LLMs에게 더 큰 이득을 주며, 의미적 유사성 검색이 추론 과정에서는 실패할 수 있음을 발견했습니다. 따라서 모델 성능 향상을 위해 '데모의 이해 용이성'과 '순서 지정된 개념적 진행'이라는 두 가지 원칙을 제안하고, 이를 바탕으로 Curvilinear Demonstration Selection (CDS)라는 새로운 순서 지정 방법을 제시합니다.

핵심 포인트

• CoT-ICL은 비추론 작업에서와 다른 스케일링 동작을 보이며, 특히 추론 지향 LLMs에게 더 큰 이득이 있습니다.
• 의미적 유사성 기반 검색(similarity-based retrieval)은 비추론 작업에는 유용하지만, 절차적 호환성이 중요한 추론 과정에서는 실패할 수 있습니다.
• CoT 데모가 많아질수록 성능 분산이 커지는 '순서 스케일링 효과'가 관찰됩니다.
• 성능 향상을 위해 데모는 모델이 이해하기 쉬워야 하며(Understandability), 순서 지정된 개념적 진행을 지원해야 합니다(Order-design).
• 제안된 Curvilinear Demonstration Selection (CDS)은 기하학 작업에서 64개의 데모를 사용하여 최대 5.42%p의 성능 향상을 입증했습니다.