Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 장문 생성 시 발생하는 길이 붕괴 현상을 해결하기 위해 IS-CoT 프레임워크를 제안합니다. 생성 과정 내에 '계획-작성-성찰' 사이클을 내장하여 동적인 전략 적응을 가능하게 하며, 이를 통해 학습된 IS-Writer-8B는 장문 벤치마크에서 뛰어난 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기일관성 있고 제어 가능한 장문 콘텐츠를 생성하는 것은 대규모 언어 모델 (LLMs)에게 여전히 지속적인 과제로 남아 있습니다. 추론 능력이 강화된 모델들이 논리 집약적인 영역에서 성공을 보여주었지만, 당사의 평가 결과에 따르면 이들은 개방형 글쓰기에서 심각한 길이 붕괴 (length collapse) 현상을 겪으며, 목표 길이가 2,000단어를 초과함에 따라 성능이 급격히 저하되는 것으로 나타났습니다. 당사는 이러한 실패의 원인을 정적 계층적 계획 (static hierarchical planning)의 한계로 보고 있으며, 이는 확장된 문맥 (context)에 대해 동적인 가이드를 제공하는 데 어려움을 겪습니다. 이 간극을 메우기 위해, 당사는 교차 구조적 사고 (Interleaved Structural Chain-of-Thought, IS-CoT) 프레임워크를 도입합니다. 외부 에이전트 워크플로우 (external agentic workflows)와 달리, IS-CoT는 생성 과정 내에 동적인 계획-작성-성찰 (Plan-Write-Reflect) 사이클을 내장하여, 추가적인 도움 없이도 지속적인 전략 적응과 전역적 정렬 (global alignment)을 가능하게 합니다. 이 프레임워크를 기반으로, 당사는 멀티 티처 파이프라인 (multi-teacher pipeline)을 통해 교차된 추론 흔적 (reasoning traces)을 포함하는 고품질 데이터셋을 구축하고 IS-Writer-8B를 학습시켰습니다. 실험 결과, IS-Writer-8B는 도전적인 장문 벤치마크에서 최첨단 (state-of-the-art) 성능을 달성하였으며 (예: LongBench-Write에서 DeepSeek-V3.2 대비 +3.08), 훨씬 더 큰 규모의 폐쇄형 모델 (proprietary models)과 경쟁할 만한 강력한 길이 준수 능력과 일관성을 보여주었습니다.