현재 AI 학습 데이터를 둘러싼 두 가지 서사가 지배적입니다.
하나는 **'벽(wall)'**입니다. 즉, 고품질의 인간 텍스트가 몇 년 안에 고갈될 것이라는 주장입니다. 다른 하나는 **'탈출(escape)'**입니다. 업계는 에이전트들이 자체적인 상호작용 스트림으로부터 학습하며 더 이상 인간 데이터에 의존하지 않는 '경험의 시대'가 도래했다고 선언했습니다.
이 두 서사 사이에는 불안한 실험 결과가 존재합니다. 모델에게 모델이 생성한 데이터를 공급하면, 그 분포가 저하되는 현상, 소위 **모델 붕괴(model collapse)**입니다. 다시 말해, 탈출 경로 자체가 피하고자 하는 실패 모드를 관통하고 있습니다.
하지만 두 서사 모두 숨겨진 가정을 공유합니다. 바로 '인간 데이터'란 인간이 작성한 것을 의미한다는 것입니다. 동반 기고문인 _AGI의 인간 참조 적합 이론(the human-referential fitting theory of AGI)_은 이러한 가정이 실제 오류라고 주장했습니다. 적합해야 할 것은 인간이 작성한 것이 아니라, 누가 성공하고, 누가 실패하며, 누가 학습하는지, 그리고 그 모든 과정이 시간의 흐름에 따라 전개되는 전체 스펙트럼인 인간의 **실습(practice)**입니다. 주식 시장은 벽을 가지고 있지만, 흐름(flow)은 그렇지 않습니다.
그 이론은 '무엇을 적합해야 하는가'를 정했습니다. 이전의 실패 데이터 감사(failure-data audit)는 '업계가 그 주식으로 무엇을 했는지'를 규명했습니다. 그러나 어느 쪽도 공학적 질문, 즉 **'어떻게 적합하게 할 것인가?'**에 답하지 못했습니다. 무엇을 수집하고, 어떻게 정제하며, 그것이 가중치(weights)에 어떻게 들어오고, 누가 심사하는지—완전한 파이프라인이 어떤 모습인지는 문헌에서 빠져 있습니다 (분포 측 연구는 출력 다양성 엔지니어링으로 성숙했고, 생산 측 지식은 흩어진 플라이휠 관행으로 정착했으며, 거버넌스 측 작업은 라이선싱 및 출처(provenance) 연구에 머물러 있어—아무도 파이프라인 수준의 프로토콜을 제시하지 못했습니다).
본 논문은 이 간극을 메웁니다. 두 가지를 수행합니다: 14개 구성 요소로 이루어진 방법론을 제시하고, 현재 존재하는 8개의 주요 선두 사례들이 이 방법론과 얼마나 떨어져 있는지 측정하는 것입니다.
1. 방법론 자체: 네 개의 레이어 스택, 세 개의 라인, 열네 개의 구성 요소
이 파이프라인은 네 가지 계층의 데이터 스택으로 구성되어 있습니다: **수집(collection) → 정제(cleaning) → 흡수(absorption)**이며, 이 전체를 가로지르는 **거버넌스 대역(governance band)**을 가지고 있습니다. 총 14개의 구성 요소가 이 스택에 걸쳐 있으며, 세 개의 축을 따라 정리되어 있습니다.
먼저 제시되는 세 가지 설계 원칙은 어떤 단일 구성 요소보다도 중요합니다:
- 운영 정의(Operational definitions)는 코더 독립적이어야 합니다. — 동일한 정의를 바탕으로 작업하는 두 명의 낯선 사람이라도 같은 결론에 도달해야 합니다.
- 프로토콜(Protocol, 무엇을 해야 하는지)과 기존 구현 사례(Existing instantiations, 누가 실제로 수행하고 있는지)는 분리하여 기술되어야 합니다. — 규범적인 것과 기술적인 것은 절대 함께 작성되어서는 안 됩니다.
- 모든 구성 요소는 자체적인 실패 모드(failure mode)를 가지고 있어야 합니다. — 자신이 어떻게 고장 날 수 있는지 말할 수 없는 방법론은 프로토콜이 아니라 슬로건에 불과합니다.
분포선(Distribution line, C1–C4): 그리드를 먼저 그리고, 그 다음 그리드를 관찰해야 합니다. 첫 단계는 유형화된 타입 공간(typed type space)을 정의하는 것입니다: 인구 집단 × 성공/실패 × 전문가/초보자 × 전형적/주변성 — 이는 인간 경험 전체에 걸쳐 그려진 격자입니다. 그다음에는 커버리지 모니터(커버리지 모니터, 셀이 비어가는 경우 경고를 울리는 주기적 샘플링)와 격차 기반 수집 배포(gap-driven collection dispatch, 할당량 추측 대신), 그리고 커버리지 대시보드(coverage dashboard, 내부적으로는 월간 보고서, 외부적으로는 연간 보고서)가 뒤따릅니다. 왜 할당량(quota) 대신 커버리지를 사용할까요? 실험에 따르면 '대표적인' 주변 분포를 고정하는 것이 차별적인 결과를 악화시킬 수 있기 때문입니다. 즉, 할당량은 단일 선을 압박하지만, 커버리지는 전체 격자를 관찰합니다.
프로덕션 라인(Production line) (C5–C11): 멈추지 않는 수집 및 정제 과정. 프로덕션 원격 측정(telemetry) — 배포된 사용자의 사용량과 피드백이 학습으로 다시 흐르지만, 긍정적인 신호만으로는 절대 학습되지 않습니다. 한 파이프라인은 사용자 응답률을 28% 향상시켰고, 그 결과 모델이 아첨하는 경향(sycophancy)을 학습하여 비상사태로 인해 롤백해야 했습니다. 체계화된 실패 제출 — 채널 + 인센티브 + 품질 관리의 세 가지 요소로 구성되어 있으며, 인센티브 없이는 공급 자체가 0입니다. 세 부분으로 나뉜 실패 기록 — 오류 유형, 근본 원인(root cause), 그리고 수정 사항을 단일 데이터 항목으로 패키징하는 '실수 노트' 공학 기술입니다. 가짜 실패 판별(pseudo-failure discrimination) — 실제 실패, 속임수식의 가짜 성공, 환경 충돌을 세 가지로 분리하는 것(모델에게 고장 난 환경이 자신의 잘못이라고 가르쳐서는 안 됩니다). 도메인 조건부 혼합(domain-conditioned mixing); 출처 계층화(provenance stratification); 3단계 흡수 과정 — 월별 지속적 사전 학습(continual pre-training), 주간 RL 리플레이, 실시간 런타임 메모리. 세 개의 시계가 각각 고유한 박자를 유지합니다.
거버넌스 라인(Governance line) (C12–C14): 어떤 범위의 데이터인지, 누가 심사하는지, 무엇을 수집할 수 있는지. 집계 규칙은 문서화되고 공개되어야 합니다. 검증 과정은 사다리를 올라가야 합니다(내부 감사 → 제3자 → 공공 벤치마크). 데이터 흐름에 대한 동의는 단순한 체크박스 표시가 아니라, 철회 가능하고 갱신 가능한 지속 가능한 관계여야 합니다.
Four-layer data stack
4계층 데이터 스택(The four-layer data stack) (논문 그림). 수집 → 정제 → 흡수 계층이 수직으로 실행되며, 거버넌스 밴드는 전체를 가로지릅니다. 14개 구성 요소(C1–C14)가 이 스택에 걸쳐 있으며, 색상은 세 가지 방법론적 라인(주황색 = 배포/분배, 파란색 = 프로덕션, 녹색 = 거버넌스)을 구분합니다. 점선 루프는 결코 닫히지 않는 인간의 실습 흐름입니다.
2. 핵심 설계 매개변수: 주입률(injection rate)
합성 데이터는 어느 정도 비율로 포함되어야 할까요? 정답은 다음과 같습니다. 도메인별로 설정해야 하며, 단일한 전역 비율은 구조적으로 틀립니다.
검증 가능한 도메인(verifiable domains) — 코드, 수학처럼 컴파일러와 실행기가 최종 판단을 내릴 수 있는 곳에서는 합성 데이터와 자가 플레이(self-play)가 확장 가능함을 입증했습니다. 하지만 솔직히 말하자면, 그것은 부트스트랩된 자급자족성이며, 그 모든 것은 인간 코퍼스에 대한 사전 훈련이라는 토대 위에 놓여 있을 뿐, 근본적인 기원 이야기는 아닙니다.
반면, 개방형 도메인(open domains) — 가치 판단, 워크플로우 통찰력, 긴 꼬리 실습 등에서는 어떤 컴파일러도 통찰력을 '정확하다'고 판별할 수 없으며, 어떠한 실행기도 실패의 근본 원인을 평가할 수 없습니다. 이곳에서는 붕괴의 사슬이 끊어진 적이 없었으며, 반례가 계속 축적되고 있습니다. 인간의 실습 흐름은 여러 입력 중 하나가 아니라, 현재 피팅되는 분포를 담는 유일한 외부 운반체입니다.
따라서 모든 도메인은 신선한 인간 실습을 위한 보장된 하한선, 즉 주입률(injection rate)이 필요합니다. 그리고 이 하한선에는 정량적인 닻이 있습니다. 폐쇄 루프 자가 공급(closed-loop self-feeding)은 사이클당 단 하나의 실제 데이터 포인트만 혼합해도 붕괴를 막을 수 있음이 수학적으로 증명되었습니다. 이때 혼합은 대체적(substitutive)이기보다는 누적적(cumulative)이어야 하며 (인간의 기반이 결코 줄어들지 않아야 함), 성능 저하 또한 비대칭적입니다. 즉, 합성 훈련은 이미 강한 기술을 더욱 강화하고 이미 약한 기술을 더욱 약화시키므로, 하한선은 한 번에 설정되는 것이 아니라 역량별로 설정되어야 합니다.
3. 결과: 공학적 요소는 서사 형태로 공개됨
방법론이 마련되었으므로 다음 단계는 거리를 측정하는 것입니다. 2026년 플래그십 파이프라인 8개의 공개된 내용을 14개 구성 요소(셀당 0~3점)와 비교하여 점수를 매겼으며, 총 112개 셀에 걸쳐 32점(평균 0.286)을 기록했습니다.
세 줄의 결과는 확연히 분리됩니다: 프로덕션 0.393, 거버넌스 0.333, 배포(distribution) 0.062.
여덟 가지 공개 자료 전체에서 네 가지 구성 요소(typed type space, coverage monitor, coverage dashboard, provenance stratification)가 0번 나타납니다. 세 부분으로 된 실패 기록은 최대 레벨 1에 머물러 있습니다. 업계는 이미 '오류 + 수정'의 두 부분을 기록하는 방법을 알고 있지만, 세 번째 부분인 '근본 원인(root cause)'은 어느 곳과도 연결되어 있지 않습니다. 전체 매트릭스에서 유일하게 레벨-3 셀이 발견되는데, 이는 MiMo의 가짜 실패 판별(dedicated red-team agent가 훈련 환경을 반복적으로 공격하고, 부정행위가 전반에 걸쳐 2% 미만으로 유지되었으며, 제3자 감사를 포함)입니다.
거버넌스 라인의 높은 점수는 거의 전적으로 Anthropic 단독의 기여에서 비롯됩니다. 이를 제외하면 나머지 일곱 개의 평균 거버넌스 점수는 0.190까지 떨어집니다. 즉, 거버넌스의 구현은 광범위하기보다는 집중되어 있습니다.
이러한 패턴들을 종합해 보면 하나의 문장으로 요약할 수 있습니다: 최첨단 모델들이 엔지니어링을 결여하는 것이 아니라, 제도적인 형태로 공개된 엔지니어링이 부족하다는 것입니다. — 아무리 많은 글이 쓰여도 숫자가 없는 메커니즘은 여전히 서사(narrative)에 머물러 있으며, 평가 목적으로만 사용되고 훈련 과정에 절대 포함되지 않는 실패 사례들은 해당 섹션이 아무리 두꺼워도 점수로 계산되지 않습니다.
Readiness heatmap
준비도 히트맵 (논문 그림). 8개의 플래그십 파이프라인 × 14개 구성 요소로, 색상 코딩은 공개된 구현 수준(0–3)을 나타냅니다. C1/C2/C4/C10에 걸쳐 있는 모든-제로 대역과 전체 그림에서 유일한 어두운 레벨-3 셀이 한눈에 명확하게 보입니다.
정직성 조항(The honesty clause): 이것은 단일 코더 감사(single-coder audit)입니다. 20% 샘플에 대한 블라인드 재코딩이 예정되어 있으며, 합의율과 κ는 다음 버전에서 보고될 것입니다. 다섯 개의 중간 신뢰도 셀을 모두 제거해도 세 줄의 순서, 모든 제로 구성 요소, 그리고 고유한 레벨-3 셀은 변함없이 유지됩니다. 또한 이 감사는 프로토콜이 정확하다는 것을 입증하는 데 절대 사용되지 않습니다. 기술적 설명 부분(descriptive sections)과 규범적 부분(normative sections)은 명확하게 그려진 벽으로 분리되어 있습니다.
4. 네 개의 다리: 각 청중이 진입하는 곳
구현할 커뮤니티의 언어를 이해하지 못하는 방법론은 여전히 원고에 머무릅니다. 각각 청중 고유의 어휘를 기반으로 하는 네 개의 다리가 필요합니다.
Agent-RL 실무자들을 위해 — 진입점: “롤아웃(rollouts)의 인간적 측면.” 여러분은 이미 행동을 영속적인 데이터 스트림으로 취급하고 있습니다. 즉, 샌드박스 클러스터, 리플레이 버퍼(replay buffers), 스태일니스 컨트롤러(staleness controllers)와 같은 인프라가 이 논문의 생산 라인이며, 주제만 변경하면 됩니다. 세 가지 고충 지점이 직접적으로 대응됩니다: 보상 해킹(reward hacking) ↔ 실패 귀속 데이터(failure-attribution data) (진정한 실패와 조작된 보상 사이의 간극이 바로 근본 원인 기록입니다); 엔트로피 붕괴(entropy collapse) ↔ 주입률(injection rate) (신선한 인간의 실습만이 엔트로피의 유일한 외부 공급원입니다); 평가 표류(eval drift) ↔ 적합 지연(fitting lag). 그리고 세 가지 표준적인 반론이 있습니다: “인간 데이터는 더럽고 비싸다” — 실패 사례야말로 정확히 저렴한 부분이며, 비용이 많이 드는 부분(귀속)은 어차피 인프라 RL이 필요로 하는 것입니다; “합성 데이터와 자가 플레이만으로 충분하다” — 검증 가능한 영역에서는 그렇습니다. 하지만 개방형 영역에는 컴파일러가 없습니다; “우리는 모방이 아닌 RLVR을 한다” — 검증기는 인간 기관이며, 그것이 인코딩하는 체크는 인간의 결정이고, 이는 실습에 따라 변동합니다.
사전 훈련 및 데이터 엔지니어를 위한 관점 — 진입점: '완료되지 않은, 시간 증분 코퍼스(time-incremental corpus)'. 여러분의 고통은 위장된 재고-흐름 불일치(stock–flow mismatch)입니다. 웹은 흐름인 반면, 코퍼스는 스냅샷이기 때문에, 노후화(staleness), 구식화, 오염이 하나의 문제입니다. '우리는 이미 지속적 사전 훈련을 하고 있다'는 주장은 타이핑된 커버리지가 없으면 분포선(distribution line)을 0으로 남겨둡니다. 감사 기록에서 모든 값이 0인 C1/C2/C4 열이 외부에서 보이는 모습입니다. '데이터 플라이휠은 이미 업계 관행이다'라는 것은 프로토콜로 결합된 적이 없는 파편 형태로만 존재합니다 (타입화된 스키마, 실패 기록 명세, 도메인별 바닥값, 검증 사다리 등이 없음). '신선한 데이터는 재현성을 깨뜨린다'는 주장은 흐름을 감사 가능하게 만들기 위해 버전 관리되는 스키마와 보관된 대시보드가 존재하는 이유입니다. 고정된 코퍼스는 화석이 재현 가능한 방식과 같이 재현 가능합니다. 둘 다 변하지 않음으로써 그 가치를 인정받습니다.
거버넌스 및 정책 담당자를 위한 관점 — 진입점: '지속적인 관계로서의 동의(consent as a continuing relationship)'. 법적 개념 자체는 이미 존재합니다 (철회 가능하고 맥락 의존적인 동의). 부족한 것은 엔지니어링 관점입니다: 기계가 읽을 수 있는 약관, 실현 가능한 집합 등록부(feasible-set register), 그리고 철회권의 전파 메커니즘이 필요합니다. '개인정보 보호법은 이 규모에서의 수집을 금지한다'는 주장은 방법론의 경계 조건일 뿐이며, 이에 대한 반박 근거가 아닙니다. 그 목적 전체는 제약 조건을 계산 가능하게 만드는 것입니다. '이것은 대형 플랫폼에 유리하다'라는 것은 타입화된 스키마와 동의 프로토콜이라는 두 가지 구성 요소가 소규모 팀도 일방적으로 채택할 수 있다는 의미입니다. 비대칭 플라이휠이야말로 현상 유지의 대안입니다. '출처(provenance)는 집행 불가능하다'라는 주장은 워터마크 배포와 기계가 읽을 수 있는 약관이 최초의 강제 집행 등급 원시 요소(primitives)임을 보여줍니다.
