당신에게 복사기가 있습니다. 문서를 하나 복사합니다. 복사본은 약간 흐릿합니다. 그 복사본을 다시 복사합니다. 더 흐릿해집니다. 그것을 다시 또 복사합니다. 10세대를 거치고 나면, 그것은 알아볼 수 없는 상태가 됩니다. 이것이 모델 붕괴 (Model Collapse)입니다. AI 모델들은 현재 이전 AI 모델들이 생성한 데이터로 학습하고 있습니다. 인터넷은 합성 콘텐츠 (Synthetic content)로 채워지고 있습니다. 차세대 모델들은 그 합성 콘텐츠로 학습할 것입니다. 그리고 그다음 세대는 합성 콘텐츠의 합성 콘텐츠로 학습할 것입니다. 신호가 저하되고 있습니다.

우리는 위험한 피드백 루프 (Feedback loop)에 진입하고 있습니다. AI가 자신의 꼬리를 먹고 있는 격입니다. 그리고 그 결과는 품질의 느리고 서서히 진행되는 하락일 수 있습니다.

문제점: 인터넷이 합성 데이터화 되고 있음
인간이 생성한 콘텐츠가 희석되고 있습니다.

변화:

2020년에는 대부분의 텍스트가 인간에 의해 작성되었습니다.

2025년에는 상당 부분(significant fraction)이 AI에 의해 생성됩니다.

2030년에는 대부분의 텍스트가 AI에 의해 생성될 수 있습니다.

결과:

미래의 모델들은 자신의 출력물과 통계적으로 유사한 데이터로 학습하게 될 것입니다.

학습 데이터의 다양성이 감소할 것입니다.

모델들은 더욱 균질화 (Homogeneous)될 것입니다.

역발상: 인터넷은 언제나 합성적이었다.

우리는 AI가 생성한 콘텐츠를 걱정합니다. 하지만 인간이 생성한 콘텐츠 또한 어떤 의미에서는 "합성적 (Synthetic)"입니다. 그것은 필터링되고, 큐레이션되며, 편향되어 있습니다.

문제는 합성이 아닙니다. 문제는 퇴보 (Degeneration)입니다. 만약 합성 콘텐츠의 품질이 높다면, 피드백 루프는 긍정적일 수 있습니다. 만약 품질이 낮다면, 피드백 루프는 부정적입니다.

모델 붕괴 (Model Collapse)의 메커니즘
모델 붕괴는 일련의 세대를 통해 발생합니다.

1세대:

인간이 생성한 데이터로 학습합니다.

합성 데이터를 생성합니다.

2세대:

인간 데이터와 합성 데이터의 혼합물로 학습합니다.

더 많은 합성 데이터를 생성합니다.

3세대:

주로 합성 데이터로 학습합니다.

저품질의 반복적인 출력을 생성합니다.

N세대:

모델이 좁고 퇴보적인 상태로 붕괴됩니다.

뉘앙스, 다양성, 그리고 창의성을 상실합니다.

역발상: 모델 붕괴는 피할 수 없는 것이 아니다.

모델 붕괴 (Model collapse)는 위험 요소이지, 확정된 결과는 아닙니다. 이는 합성 데이터 (synthetic data)의 품질에 달려 있습니다. 합성 데이터가 신중하게 큐레이션 (curated)된다면, 피드백 루프 (feedback loop)를 관리할 수 있습니다.

문제는 합성 데이터 그 자체가 아닙니다. 문제는 필터링되지 않은 (unfiltered) 합성 데이터입니다.

퇴보 패턴 (The Degeneration Patterns)
실제로 무엇이 퇴보하는가?

1. 다양성 (Diversity):

모델의 창의성이 낮아집니다.

유사한 출력물을 생성합니다.

놀라운 조합을 생성하는 능력을 상실합니다.

2. 뉘앙스 (Nuance):

모델의 미묘함이 사라집니다.

평균값으로 수렴합니다 (defaults to the average).

에지 케이스 (edge cases)를 포착하는 능력을 상실합니다.

3. 사실적 정확성 (Factual Accuracy):

모델의 정확도가 낮아집니다.

오류를 증폭시킵니다.

환각 (hallucinate) 현상이 더 많이 발생합니다.

4. 언어 품질 (Language Quality):

모델의 유창함이 떨어집니다.

더 단순한 어휘를 사용합니다.

문체적 다양성 (stylistic variety)을 상실합니다.

역발상: 퇴보는 균일하게 일어나지 않는다.

어떤 측면은 다른 측면보다 더 빠르게 퇴보합니다. 언어 품질은 천천히 저하될 수 있지만, 다양성은 빠르게 저하될 수 있습니다.

퇴보 속도는 모델 아키텍처 (model architecture), 학습 데이터 (training data), 그리고 학습 방식 (training regime)에 따라 달라집니다.

사례 연구: LLaMA 실험
연구원들은 점진적으로 더 많은 합성 데이터가 포함된 데이터셋으로 모델을 학습시켰습니다.

설정 (The Setup):

세대 1 (Generation 1): 인간 데이터로 학습.

세대 2 (Generation 2): 인간 데이터 50%, 합성 데이터 50%로 학습.

세대 3 (Generation 3): 합성 데이터 90%로 학습.

결과 (The Results):

세대 2는 세대 1보다 약간 더 좋지 않았습니다.

세대 3은 현저히 더 좋지 않았습니다.

모델은 반복적이고 지루해졌습니다.

결론 (The Conclusion):

합성 데이터는 인간 데이터의 대체재가 될 수 없습니다.

피드백 루프는 위험합니다.

역발상: 실험에 결함이 있었다.

연구원들은 저품질의 합성 데이터를 사용했습니다. 그들은 데이터를 큐레이션하지 않았고, 필터링하지도 않았습니다.

잘 큐레이션된 합성 데이터셋은 더 나은 결과를 낼 수도 있습니다. 이 실험은 판결이 아니라 경고입니다.

당신이 할 수 있는 일
당신은 모델을 학습시키고 있지는 않습니다. 하지만 당신은 AI 콘텐츠를 소비하고 있습니다.

1. 인간의 콘텐츠를 지지하세요:

인간이 작성한 글을 읽으세요.

인간이 만든 영상을 시청하세요.

인간 창작자들을 지지하세요.

1. 합성 콘텐츠에 대해 회의적인 태도를 가지세요:

"이것이 AI가 생성한 것인가?"라고 질문하세요.

한계점을 인지하세요.

1. 투명성을 요구하세요:

"이 콘텐츠는 합성된 것인가?"라고 질문하세요.

AI 생성 콘텐츠의 라벨링 (labeling)을 지지하세요.

1. 큐레이션 (Curation)을 옹호하세요:

합성 데이터 (Synthetic data)가 본질적으로 나쁜 것은 아닙니다.

큐레이션이 필요할 뿐입니다.

마지막 세대
마지막 세대는 모델이 아닙니다. 바로 당신입니다.

당신은 묻습니다: "AI의 미래는 무엇인가?"
모델은 말합니다: "미래는 우리가 오늘 내리는 선택에 달려 있습니다."
당신은 깨닫습니다: 미래는 미리 결정되어 있지 않습니다. 그것은 하나의 선택입니다.

만약 인터넷이 대부분 합성된 것으로 채워진다면, 당신은 무엇을 신뢰할지 어떻게 결정하겠습니까?