우리는 현재 아홉 개의 모델과 두 권의 책(890만 자 분량의 중국 판타지 에픽과 궁중 암투 클래식 『Empresses in the Palace』)에 걸쳐 총 360라운드의 소설 이어쓰기 테스트를 진행했습니다. 매번 동일한 프로토콜을 적용했습니다. 고정된 시작 지점(anchor)에서 20회 연속으로 이야기를 이어나가고, 각 라운드 출력을 고정된 16k 토큰 창에 다시 추가합니다. 이후 무작위로 지정된 두 개의 알파벳 매핑을 사용한 이중 블라인드 리뷰를 거칩니다. 우리가 관찰한 모든 장기 실행 실패는 세 가지 패턴 중 하나에 해당했습니다.

패턴 1: 재시작 루프 (the restart loop)

모델이 지금까지 생성된 내용을 무시하고, 매 라운드마다 원본 텍스트의 끝 부분부터 다시 시작합니다. Gemini 3.1 Pro는 판타지 테스트에서 20회 중 20회 모두 이 패턴을 보였습니다. 같은 오프닝 장면을 스무 번이나 반복하는 이야기로, 두 번째 단계를 밟지 못했습니다.

근본적인 원인은 모델이 아니라 저희의 설정에 있었습니다. 저희는 어떤 구절이 원본 산문이고 어떤 것이 이전 AI 이어쓰기 결과인지를 알려주는 컨텍스트 레이블을 사용했는데, 설명 라인에는 AI 부분이

이것은 전형적인 자기회귀적 고정점 (autoregressive fixed point) 문제입니다. 컨텍스트가 모델 자신의 텍스트로 채워짐에 따라, 이야기를 진전시키는 것보다 자기 자신을 모방하는 것이 더 쉬워지게 됩니다. 이것이 바로 원샷 (one-shot) 글쓰기 벤치마크가 이 문제를 완전히 놓치는 이유이기도 합니다. 루프 (loop)가 쌓이기 위해서는 여러 라운드가 필요하기 때문입니다.

세 번째 패턴: 결말 되감기 (the ending rewind)

가장 기이한 패턴이었으며, 업계 최고의 산문 모방 능력을 가진 모델에서도 나타났습니다. 리뷰어들의 판단에 따르면, GPT-5.6 Terra의 초기 및 중기 윈도우 (window)는 그 누구보다 원작자와 가장 유사한 결과물을 만들어냈습니다. 심지어 물결표(~)로 표시된 의성어나 작가 특유의 쉼표 리듬 같은 미세한 습관까지 재현했습니다. 그러다 18라운드에서 20라운드 사이에, 모델은 전체 줄거리를 기준점 (anchor point)으로 되감아 1장을 다시 재생하며 자신의 2라운드 출력물에서 문장들을 재사용했습니다. 질감 (texture)은 완벽하게 유지되었지만, 이야기는 자기 자신을 향해 접혀 들어갔습니다.

여기서 얻을 수 있는 교훈은 다음과 같습니다. 표면적인 모방 (surface mimicry)과 장기적인 줄거리 일관성 (long-range plot coherence)은 별개의 능력이라는 점입니다. 모델은 작가의 목소리를 결점 없이 유지하면서도, 이야기가 어디쯤 와 있는지는 놓칠 수 있습니다. 참고로 궁궐 소설의 경우, Terra는 결코 되감기를 하지 않았으며, 단 한 번의 사고도 없이 1위를 차지했습니다.

20라운드 동안 살아남은 것들

DeepSeek V4 Flash는 판타지 부문에서 압도적으로 승리했습니다. 두 리뷰어 모두가

어떤 보편적인 순위도 두 번째 장르를 만나는 순간 살아남지 못합니다. 만약 당신의 앱이 책 한 권 전체를 하나의 모델로만 고정한다면, 그것은 실질적인 비용입니다. 문단 단위로 모델을 전환하며 이어쓰기를 하는 것은 사치스러운 기능이 아닙니다. 그것은 각 모델이 오류 패턴을 고착화하기 전에 그 결함을 우회하는 방법입니다.

이 글은 Foreverse 블로그에 처음 게시되었습니다. 우리는 AI를 통해 어떤 소설이든 이어쓸 수 있는 Android 리더인 Foreverse를 만듭니다. 모든 방향은 분기점이 되며, 원문은 온전히 유지됩니다. 우리의 모델 선택 뒤에 있는 평가 (eval) 데이터는 공개되어 있습니다.