언제 생각할 것인가, 언제 말할 것인가: LLM 추론을 위한 공개 정책 학습

요약

이 기술 기사는 LLM 추론 과정에서 '공개 타이밍'을 조절 가능한 결정으로 만드는 새로운 방법인 Side-by-Side (SxS) Interleaved Reasoning을 제안합니다. 기존의 자동 회귀 생성 방식은 토큰 하나하나가 비가역적인 공개적 약속을 구성하여, 추가적인 고찰이 지연되거나 초기 스트리밍에 편향될 위험(침묵세금)을 초래했습니다. SxS는 부분적인 공개와 지속적인 사적 추론을 교차시키면서도, 현재까지의 추론에 의해 '지원'될 때만 콘텐츠를 방출하여 이 문제를 해결합니다.

핵심 포인트

• SxS (Side-by-Side Interleaved Reasoning)는 LLM이 추론하는 과정에서 공개와 비공개 사적 사고 과정을 교차시키는 새로운 프레임워크입니다.
• 기존의 자동 회귀 생성 방식은 '침묵세금(silence tax)' 문제를 야기하는데, 이는 추가적인 고찰이 지연되거나 초기 스트리밍에 편향을 일으키는 약속의 위험 때문입니다.
• SxS는 콘텐츠를 방출할 때 현재까지의 추론 과정에 의해 명시적으로 '지원'될 때만 가능하도록 설계되어 안정성을 높였습니다.
• 제안된 방법은 SFT와 RL을 통해 이중 행동 의미론(dual-action semantics)을 학습하고, 다양한 벤치마크에서 정확도와 콘텐츠 지연 간의 파레토 트레이드오프를 개선했습니다.