언제 생각할 것인가, 언제 말할 것인가: LLM 추론을 위한 공개 정책 학습

단일 스트림 자동 회귀 인터페이스에서 동일한 토큰은 모델 상태를 업데이트하고 동시에 비가역적인 공개적 약속을 구성합니다. 이러한 결합은 “침묵세금 (silence tax)”을 생성합니다: 추가적인 고찰은 첫 번째 ‘작업 관련’ 콘텐츠를 지연시키며, 단순한 초기 스트리밍은 후속 생성에 편향을 일으키는 선제적 약속의 위험을 초래합니다. 우리는 표준 자동 회귀 생성 내에서 ‘공개 타이밍’을 조절 가능한 결정으로 만드는 extbf{ extbf{Side-by-Side (SxS)}} Interleaved Reasoning 을 소개합니다. SxS 는 동일한 컨텍스트에서 부분적인 공개와 지속적인 사적 추론을 교차시키지만, 현재까지의 추론에 의해 ‘지원’될 때만 콘텐츠를 방출합니다. 채워지는 내용을 유도하지 않고 이러한 속도를 학습하기 위해, 답변 접두사를 지원 추론 접두사와 매칭하여 엔테일먼트 정렬된 교차 경로를 구성한 후 SFT 로 이중 행동 semantics 를 습득하고 RL 으로 새로운 형식 하에서 추론 성능을 회복합니다. Qwen3 아키텍처/스케일 2 개 (MoE extbf{Qwen3-30B-A3B}, dense extbf{Qwen3-4B}) 와 in-domain (AIME25) 및 out-of-domain (GPQA-Diamond) 벤치마크 모두에서, SxS 는 토큰 수준의 대안 (예: 인터 업데이트 대기 시간) 하에 정확도--‘콘텐츠-지연’ 파레토 트레이드오프를 개선합니다.