현재 거의 모든 AI 논의에는 조용한 가정이 하나 깔려 있습니다:

“컴퓨팅 자원(Compute)과 모델을 확장하면, 지능은 계속해서 향상될 것이다.”

그 가정이 무너지기 시작하고 있습니다.

요란하게 말이죠.

구조적으로 말입니다.

진짜 병목 현상은 컴퓨팅 자원이 아닙니다

우리는 마치 컴퓨팅 자원이 주요 제약 사항인 것처럼 최적화를 해왔습니다.

GPU. 클러스터(Clusters). 병렬성(Parallelism). 더 빠른 학습 실행.

하지만 눈에 잘 보이지 않는 제약 사항이 나타나고 있습니다:

우리는 고품질의 인간 데이터(Human data)를 다 써가고 있습니다.

그리고 더 나쁜 것은:

우리는 그것을 근본적으로 다른 무언가로 대체하고 있다는 점입니다.

우리가 학습시키고 있는 바로 그 모델들에 의해 생성된 합성 콘텐츠(Synthetic content)로 말이죠.

인터넷은 과거에 무질서했습니다. 그것이 장점이었습니다.

초기 파운데이션 모델(Foundation models)은 우리가 조용히 잃어가고 있는 무언가를 가지고 있었습니다:

대체로 인간이 만든 인터넷 말입니다.

깨끗하지도, 구조화되지도, 최적화되지도 않았습니다.

하지만 진짜였습니다.

• 새벽 2시의 압박 속에서 작성된 Stack Overflow 답변들
• 의견 충돌과 수정으로 가득 찬 Reddit 스레드
• 문서화가 절반만 된 GitHub 리포지토리(Repos)
• 실제 불확실성이 녹아 있는 연구 논문들
• 사람들이 논쟁하고, 실패하며, 아이디어를 다듬던 포럼들

이것은 단순한 “데이터”가 아니었습니다.

그것은 **제약 조건 아래 압축된 인간의 추론(Human reasoning)**이었습니다.

그리고 그것은 유용한 방식으로 혼란스러웠습니다.

그 인터넷은 더 이상 우리가 학습하는 대상이 아닙니다

현재로 빠르게 넘어와 보겠습니다.

웹의 크고 성장하는 부분은 다음과 같습니다:

• AI가 작성한 블로그 포스트
• 대규모로 생성된 SEO 페이지
• 여러 LLM(Large Language Models)에 의해 다시 작성된 코드 스니펫(Code snippets)
• 요약의 요약의 요약
• 인간이 아닌 랭킹 시스템에 최적화된 콘텐츠

개별적으로 보면 이 중 어느 것도 위험해 보이지 않습니다.

하지만 집합적으로는 새로운 무언가를 만들어냅니다:

인간의 행동이 아닌, 모델의 행동에 의해 점점 더 형성되는 데이터셋

아무도 제대로 가격에 반영하지 못하고 있는 피드백 루프

이것이 대부분의 사람들이 과소평가하는 부분입니다:

우리는 재귀적 학습 루프(Recursive training loop)에 진입하고 있습니다.

인간 데이터 → 모델 학습 → AI 생성 콘텐츠 → 새로운 학습 데이터

반복.

각 사이클은 다음과 같은 것들을 약간씩 감소시킵니다:

• 분산 (variance)
• 독창성 (originality)
• 모순 밀도 (contradiction density)
• "기이한 인간적 예외 사례 (weird human edge cases)"

그리고 다음을 증가시킵니다:

• 패턴 반복 (pattern repetition)
• 스타일의 수렴 (stylistic convergence)
• 안전한 평균적 추론 (safe average reasoning)

이것은 가설이 아닙니다.

이미 일어나고 있는 일입니다.

컴퓨팅 스케일링 (scaling compute)이 이를 해결하지 못하는 이유

이 분야에는 미묘한 오해가 있습니다:

더 많은 컴퓨팅 (More compute) = 더 나은 지능

하지만 컴퓨팅이 분포 붕괴 (distribution collapse)를 해결하지는 못합니다.

만약 데이터셋이 다음과 같은 방향으로 서서히 이동한다면:

• 반복 (repetition)
• 템플릿화된 추론 (templated reasoning)
• 평균화된 설명 (averaged explanations)
• 정보량이 낮은 콘텐츠 (low-information content)

그렇다면 스케일링은 단지 다음과 같은 결과를 초래할 뿐입니다:

동일한 중간 수준의 답변으로 더 빠르게 수렴 (faster convergence to the same middle-of-the-road answer)

더 깊은 지능이 아니라,

그저 더 확신에 찬 모방일 뿐입니다.

불편한 신호: 모델들이 점점 비슷하게 들리기 시작하고 있다

최근 여러 LLM (Large Language Models)을 사용해 보았다면 아마 느끼셨을 것입니다:

모델들이 수렴하고 있습니다.

능력이 아니라,

목소리(voice) 측면에서 말입니다.

• 동일한 구조화된 불렛 포인트 추론 (structured bullet reasoning)
• 동일한 "균형 잡힌" 어조 (balanced tone)
• 동일한 주의 깊은 면책 조항 (careful disclaimers)
• 동일한 예측 가능한 프레이밍 패턴 (predictable framing patterns)
• 동일한 안전한 설명 스타일 (safe explanatory style)

이것은 우연이 아닙니다.

훈련 분포 (training distributions)가 겹치고 압축될 때 발생하는 현상입니다.

시스템이 스스로를 평균화하기 시작하는 것입니다.

지금 벌어지고 있는 숨겨진 경쟁

이것이 바로 모든 주요 AI 연구소들이 조용히 똑같은 일을 하고 있는 이유입니다:

• 출판사 아카이브 라이선스 체결
• 포럼 및 커뮤니티 데이터 비용 지불
• Reddit 규모의 대화 데이터 확보
• 독점적인 인간 데이터셋 구축

왜냐하면 현 시점에서:

고품질의 인간 생성 데이터는 더 이상 콘텐츠가 아닙니다. 그것은 인프라 (infrastructure)입니다.

그리고 인프라가 한계치 (ceilings)를 결정합니다.

모델의 크기가 아니라 말입니다.

진짜 위험은 지능이 아닙니다. 다양성의 붕괴입니다.

사람들은 종종 묻습니다:

"AI가 너무 강력해지면 어쩌죠?"

그것은 잘못된 실패 모드 (failure mode)입니다.

더 현실적인 실패 모드는 훨씬 더 미묘합니다:

AI 시스템이 점점 더 자기 참조적 (self-referential)이 되어, 자신의 출력물에 대한 메아리로 학습되는 것.

일단 그런 일이 발생하면, 다음과 같은 것들을 잃기 시작합니다:

• 엣지 케이스 추론 (edge-case reasoning)
• 사고의 참신함 (novelty in thought)
• 모순 신호 (contradiction signals)
• 무질서한 인간의 직관 (messy human intuition)
• 예상치 못한 도약 (unexpected leaps)

그리고 이것들은 애초에 돌파구(breakthroughs)를 만들어냈던 바로 그 요소들입니다.

이것이 향하고 있는 곳

우리는 아마도 두 개의 인터넷 계층으로 분리될 것입니다:

1. 고신뢰 인간 신호 계층 (High-trust human signal layer)

비싸고, 큐레이션(Curated)되어 있으며, 라이선스(Licensed)가 필요하고, 복제하기 어렵습니다.

2. 합성 인터넷 계층 (Synthetic internet layer)

저렴하고, 확장 가능하며(Scalable), 점점 더 자기 참조적(self-referential)이 되어갑니다.

그리고 이 두 계층 사이의 격차는 매개변수(parameter) 수보다 모델의 품질을 더 결정적으로 정의하게 될 것입니다.

현재 일어나고 있는 일을 말하는 더 정확한 방법

우리는 흔히 이렇게 말합니다:

“AI는 인터넷을 통해 학습된다.”

이것은 이미 시대에 뒤떨어진 표현입니다.

더 정확한 버전은 다음과 같을 것입니다:

“AI는 이제 이전 버전의 AI에 의해 형성된 인터넷을 통해 학습되고 있다.”

이 단 하나의 변화가 시스템 전체의 역학(dynamics)을 바꿉니다.

마지막 생각

인터넷은 단순히 AI를 학습시킨 것이 아닙니다.

인터넷은 AI에게 구조, 어조, 그리고 추론 패턴을 부여했습니다.

이제 AI는 그 동일한 시스템으로 다시 피드백(feed back)되기 시작했습니다.

그리고 불편한 가능성은 이것입니다:

우리는 지능의 향상이 컴퓨팅 자원(compute)이 아니라, 자기 참조적인 시스템 내에서 압축되지 않은 인간의 신호(uncompressed human signal)를 얼마나 오래 보존할 수 있느냐에 의해 제한되는 단계에 진입하고 있을지도 모릅니다.

일단 그 신호가 사라지면, 단순히 데이터를 잃는 것이 아닙니다.

변이(variation)를 잃게 됩니다.

그리고 변이가 없다면, 지능은 복리로 성장(compounding)하는 것을 멈춥니다.

이 내용에 공감하신다면, 저는 이 아이디어의 짧은 버전을 원래 여기에 작성했습니다:

👉 https://www.linkedin.com/posts/arpitstack_one-of-the-biggest-bottlenecks-in-ai-right-share-7465853308713332738-eLrU

이에 대한 다른 관점들—특히 오늘날 모델을 구축하거나 학습시키는 분들의 의견을 듣는다면 매우 흥미로울 것 같습니다.