IS-CoT: 교차 구조적 사고를 통한 장문 생성 붕괴 현상 해결

일관성 있고 제어 가능한 장문 콘텐츠를 생성하는 것은 대규모 언어 모델 (LLMs)에게 여전히 지속적인 과제로 남아 있습니다. 추론 능력이 강화된 모델들이 논리 집약적인 영역에서 성공을 보여주었지만, 당사의 평가 결과에 따르면 이들은 개방형 글쓰기에서 심각한 길이 붕괴 (length collapse) 현상을 겪으며, 목표 길이가 2,000단어를 초과함에 따라 성능이 급격히 저하되는 것으로 나타났습니다. 당사는 이러한 실패의 원인을 정적 계층적 계획 (static hierarchical planning)의 한계로 보고 있으며, 이는 확장된 문맥 (context)에 대해 동적인 가이드를 제공하는 데 어려움을 겪습니다. 이 간극을 메우기 위해, 당사는 교차 구조적 사고 (Interleaved Structural Chain-of-Thought, IS-CoT) 프레임워크를 도입합니다. 외부 에이전트 워크플로우 (external agentic workflows)와 달리, IS-CoT는 생성 과정 내에 동적인 계획-작성-성찰 (Plan-Write-Reflect) 사이클을 내장하여, 추가적인 도움 없이도 지속적인 전략 적응과 전역적 정렬 (global alignment)을 가능하게 합니다. 이 프레임워크를 기반으로, 당사는 멀티 티처 파이프라인 (multi-teacher pipeline)을 통해 교차된 추론 흔적 (reasoning traces)을 포함하는 고품질 데이터셋을 구축하고 IS-Writer-8B를 학습시켰습니다. 실험 결과, IS-Writer-8B는 도전적인 장문 벤치마크에서 최첨단 (state-of-the-art) 성능을 달성하였으며 (예: LongBench-Write에서 DeepSeek-V3.2 대비 +3.08), 훨씬 더 큰 규모의 폐쇄형 모델 (proprietary models)과 경쟁할 만한 강력한 길이 준수 능력과 일관성을 보여주었습니다.