Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 정렬(Alignment) 과정이 생성되는 이야기의 다양성을 어떻게 훼손하는지 분석합니다. 연구 결과, 특정 이름(Elias)과 설정(등대)이 모든 챗봇에서 과도하게 반복되는 현상을 통해 안전성 학습이 창의성을 제한함을 지적합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @heynavtoor (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기그의 이름은 Elias입니다.
그는 등대(lighthouse)에 삽니다. 그는 아마도 시계 제작자(clockmaker)일 것입니다. 그는 시간에 대해 무언가를 배우기 직전입니다.
당신은 그를 전에 만난 적이 있습니다. 당신은 ChatGPT가 당신의 아이를 위해 쓴 이야기에서 그를 만났습니다. 당신은 Gemini가 쓴 잠자리 동화에서 그를 만났습니다. 당신은 지난달 요청했던 Claude 이야기에서도 그를 만났습니다. 당신은 그에게 이름이 있다는 사실을 몰랐습니다.
Cornell이 그에게 이름을 주었습니다.
Sil Hamilton과 David Mimno는 지구상에서 가장 많이 사용되는 4개의 챗봇을 테스트했습니다. Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini, OLMo 7B Thinking. 다섯 개의 프롬프트(prompts). 2만 개의 이야기. 가장 단순한 요청. "이야기를 써줘."
모든 이야기의 88.3%에서 11개의 단어가 등장했습니다.
Elias. Mara. Elara. Lighthouse. Clockmaker. Librarian.
20,000개의 이야기 중 절반에서 등대(lighthouse)가 등장했습니다. 절반이나 됩니다. Elias라는 이름은 AI 코퍼스(corpus)에서 백만 단어당 2,428번 등장합니다. 2억 8,700만 단어를 다루는 2,700권의 실제 출판된 소설에서는 Elias가 백만 단어당 2.7번 등장합니다. 900배나 과하게 표현된 것입니다. 실제 허구(fiction)에서는 거의 아무도 사용하지 않는 이름이 지구상의 모든 챗봇 내부에서 조용히 기본 인간(default human being)이 되었습니다.
그 후 연구진은 진짜 질문을 던졌습니다. Elias는 어디에서 왔는가.
그것은 사전 학습(pre-training) 데이터가 아니었습니다. 책도 아니었습니다. 인터넷도 아니었습니다. 모델이 보았던 더 넓은 사후 학습(post-training) 이야기도 아니었습니다. Cornell은 모델을 정렬(align)하는 데 사용된 아주 작은
연구진은 실제 학습 코퍼스(training corpus)가 저작권이 있는 캐릭터와 성인용 콘텐츠로 가득 차 있다는 사실을 발견했습니다. 해리 포터(Harry Potter). 섹스(Sex). 폭력(Violence). 날이 서 있는 실제 인간의 글쓰기. 정렬(alignment) 과정은 그것들을 벗겨냅니다. 위험한 것, 구체적인 것, 삶을 살아온 사람으로부터 나온 것처럼 들리는 그 무엇이든 벗겨냅니다.
살아남는 것은 가능한 한 가장 안전한 이야기뿐입니다. 한 남자. 등대. 시간에 대한 교훈.
모든 챗봇(chatbot). 모든 프롬프트(prompt). 모든 아이. 같은 바위 위에서 같은 랜턴을 들고 있는 똑같은 남자.
모델 붕괴(Model Collapse)가 AI가 자신의 출력물을 먹어치우는 것이었다면, 검색 붕괴(Retrieval Collapse)는 Google이 AI 페이지들에 잠겨 익사하는 것이었습니다. Elias는 더 조용한 무언가입니다. Elias는 정렬(alignment)입니다. Elias는 계약업체 창고에 있는 한 줌의 안전 평가사(safety raters)들이 10억 명의 사람들이 무엇을 상상할 수 있는지 결정해 버린 순간입니다.
당신은 계속해서 AI에게 이야기를 요구할 것입니다. 당신의 아이도 계속해서 AI에게 이야기를 요구할 것입니다. 등대는 그곳에 있을 것입니다. Elias도 그곳에 있을 것입니다. 그는 시간에 대한 자신의 교훈을 배울 것입니다. 당신은 그것이 우연이라고 생각할 것입니다.
우연이 아닙니다.
그것은 당신이 읽도록 허용된 유일한 이야기입니다.
[IMG:1]