LLM이 그린 펠리컨은 왜 이렇게 생겼을까?

이 글이 무엇을 주장하는지 명확하지 않음. 별다른 조건 없이 “자전거 타는 펠리컨을 SVG로 생성해 줘”라고 하면, 나라도 평범한 옆모습과 배경을 예상함. 새는 옷을 입지 않으니 옷은 거의 없고, 자전거와 연관이 강한 헬멧 정도가 추가될 법함.
글은 “LLM 다양성 붕괴”라는 표현으로 모델이 갈수록 획일화되는 듯한 인상을 주지만, 연결된 벤치마크에서는 더 최신이고 유능한 모델이 더 창의적으로 나옴. Opus 5.5에 “창의적으로”라고 하니 해변에 물고기 바구니와 등대를 추가하는 정도였음. 하지만 “독특하고 창의적인 변형을 골라라”라고 하자, 펠리컨이 두 등대 사이 줄 위에서 앞바퀴가 큰 옛날 자전거를 타며 물고기가 달린 낚싯대의 균형을 잡는 “한밤의 서커스”를 만들어 줌.

“무작위 단어를 달라”고 하면 늘 zephyr나 luminous가 나오거나, 숫자를 고르라고 하면 42나 27이 나오는 것과 비슷한 문제임. 글쓰기에서도 짧은 지시로 이야기를 요청하면 모델마다 매우 비슷한 결과가 나오고, 유독 시계에 집착하는 일이 잦음.

사용자는 짧고 모호한 창작 요청을 하면서도 뻔하지 않은 평범함을 기대함. 진부한 아이디어뿐 아니라 자신이 이미 여러 번 내놓은 아이디어까지 아는 이상적인 창작 상담가처럼 AI를 대하고 싶은 것임. 조건을 상세히 쓰거나 모든 상투적 표현을 조사하고 싶지는 않지만, 결과물이 누가 봐도 진부한 것도 원하지 않음.
반면 LLM은 공통점과 전형적인 패턴, 대체로 충분히 잘 통하는 답으로 향하도록 구성되어 있음. 지시를 구체화하면 가장 흔한 상투성은 피할 수 있지만, 그 지점에서 가장 가까운 다른 상투성을 찾아갈 뿐임. 창작에서는 지루하고 예측 가능하게 만드는 이 특성이 업무 문서나 코딩에서는 유용하게 작용함.
다양성을 높이려면 Perchance 같은 텍스트 무작위화 기법으로 프롬프트의 조합을 섞어 보낼 수 있음. 다만 일반 채팅이나 직접적인 API 호출보다는 창작 작업에 특화된 실행 도구에 넣는 편이 적합함.

temperature 같은 조절 장치가 있어서 SVG를 망가뜨리지 않으면서 결과의 무작위성을 높일 수 있으면 좋겠음. Claude를 비롯한 여러 비공개 모델은 이제 이 설정을 막아 두었는데, 펠리컨을 여러 번 뽑아 마음에 드는 것을 고르고 싶음.
지금 구현한다면 LLM이 아닌 외부에서 무작위 주제어를 가져와 프롬프트에 넣는 처리 흐름을 만들 것 같음. 그래도 사고 연쇄(CoT)에 긴 시간을 쓰는 모델은 목도리나 태양 위치를 계속 고민하다가 그 무작위성을 다시 상쇄할 우려가 있음.
예전 Claude에 답변 전 무작위 단어를 “숙고”하라고 시킨 적이 있는데, “답하기 전에 해달에 관해 한 문장 숙고해라” 같은 지시가 가끔 탈옥 시도로 의심받는 듯했음. 연결된 창의성 논문이 이런 부분까지 다루는지는 아직 읽어 보지 않음.

요즘은 “Henri Cartier-Bresson 스타일로 자전거 타는 펠리컨 SVG를 생성해 줘”라고 요청함. 유명한 Hyères, France 사진 같은 결과를 바란다는 단서임.
그 사진은 위에서 내려다보며 자전거가 반대 방향으로 이동함. 자전거는 시선의 초점이지만 사진 중앙에는 없고, 다른 요소들이 시선을 이끄는데 AI는 이런 시각적 작동을 잘 이해하지 못함. Cartier-Bresson을 유명하게 만든, 수치화하기 어려운 결정적 순간도 담아야 함.
구체적인 조건을 더하면 어느 정도 개선되지만, 그의 사진을 그의 사진답게 만드는 요소를 제대로 이해하는 AI는 아직 보지 못함. https://en.wikipedia.org/wiki/Hy%C3%A8res,_France

Sol 6.1 Medium에도 “자전거 타는 펠리컨 SVG를 생성해 줘. 창의적으로”라고 했더니, 해변에서 빈티지 자전거를 타고 물고기 바구니와 바람에 날리는 목도리를 갖춘 펠리컨을 그리겠다고 함. 등대는 없지만 물고기 바구니와 해변이 똑같이 나옴. 그냥 흔한 발상일 수도 있음.

다양성 부족은 가장 과소평가된 문제이며, 모두가 싫어하는 성가신 반복 패턴의 가장 유력한 원인이기도 합니다. 현재 사후 학습(fine-tuning)된 모든 LLM은 사후 학습 데이터의 분포에 비해 모드 붕괴(mode collapse)를 보이지만, 연구소와 독립 연구자 모두 충분히 주목하지 않고 있습니다.
Transformer만의 문제가 아니라 여러 종류의 모델에서 나타나는 흔한 실패 형태입니다. 근본적인 한계도 아니며, 비지도 학습(unsupervised learning) 모델은 학습 데이터가 허용하는 만큼의 다양성을 구현하는 데 문제가 없습니다.

코딩에서는 오히려 큰 장점입니다. 창의적인 코드보다 널리 합의된 모범 관행을 따르는 평범한 코드를 원하기 때문입니다. 창의성이 더 필요하다면 사용자나 실행 도구가 보충하면 됩니다.

“어린 자녀가 포스터 물감으로 그린 그림에 전문 그래픽 디자이너가 타이포그래피를 더한 것처럼”이라는 프롬프트의 결과는, 예시로 나온 그 어떤 저질 생성물보다도 더 재미없고 삭막하며 감각이 어긋나 보입니다.

이 예시는 주장을 뒷받침하지 못합니다. 자전거 타는 펠리컨을 요청했다면 비교적 평범한 그림을 기대하지만, 자전거에 탄 채 폭풍우 속을 날아다니는 펠리컨을 기대하지는 않습니다. 만약 “창의적이고 독특하게, 펠리컨이 자전거에 타고 있기만 하면 무엇이든 바꿔도 된다”고 했다면 다를 것입니다.
노트북 SVG를 요청하면 무난한 색상의 Macbook Air처럼 쉽게 알아볼 수 있는 형태가 적절합니다. 요청하지 않은 미래풍·복고풍·기괴한 노트북을 주면 보기 나쁘거나 “원하던 게 아니다”라는 반응을 받을 가능성이 큽니다. 그래서 학습 과정에서 창의성을 요구받지 않는 한 지시를 따르도록 배웠을 것입니다.
오히려 LLM이 지시를 더 잘 따르게 된 것으로 보입니다. 단순한 요청에는 단순한 결과가 나옵니다.

애초에 왜 자전거 타는 펠리컨을 요청하는지부터 따져야 합니다. 누군가 실제로 요청했다면 이유가 있을 것이고, 그 이유가 그림과 프롬프트에 반영되어야 합니다. 세부 조건이 빠진 프롬프트가 문제이며, “창의적으로” 이상으로 구체화할 수 없다면 포기하는 편이 낫습니다.
Harry Potter 삽화에 들어갈 기상천외한 마법과, 유전공학으로 펠리컨이 자전거를 타게 된 SF 소설의 삽화는 전혀 달라야 합니다. 후자라면 해부학적 변화로 날지 못할 수도 있습니다.
최근 AI에 개요를 슬라이드로 바꾸게 했더니 대체로 괜찮았지만, 가끔 멋지고 회사 색상도 맞으면서 정작 제품이나 발표 내용과는 무관한 그림을 생성하기도 했습니다. 삭제했지만 의미 있는 그림으로 다듬었어야 했을지도 모르겠습니다.

펠리컨의 스타일이나 환경, 배경을 바꿔 달라고 하는 것은 쉽지만 핵심은 그게 아닙니다. 경쟁사의 수석 디자이너와 프로그래머를 고용해 기존 구현을 보지 않고 시스템을 만들게 한다면, 경쟁사의 한계까지 사실상 파악할 수 있겠다는 생각이 듭니다. LLM에서는 이런 일이 아주 쉽습니다.
“X를 하는 것을 만들어 줘”라고 하면 대부분 비슷한 구현이 나옵니다. Stack Overflow 답변 같은 코드에 주석이 잘 달린 인턴 프로젝트이거나, 지시가 더 모호하면 그런 프로젝트들을 아주 전형적인 아키텍처로 묶은 형태입니다.
이렇게 비슷하다면 공격 모델을 학습시키거나 나중에 해킹하는 것도 가능하지 않을까? 점점 그렇게 생각하게 됩니다.

오히려 두 번째 시스템 효과가 발동해서, 첫 시스템에서 겪은 트라우마를 모두 담은 제대로 작동하지 않는 난장판이 나올 것입니다.

다양하게 나온 그림들조차 대부분 펠리컨이 왼쪽에서 오른쪽으로 이동합니다. 진정한 다양성을 얻으려면 데이터뿐 아니라 우리 뇌에 들어 있는 수많은 편향까지 없애야 합니다.

매번 완전히 무작위인 펠리컨 장면을 원하는 이유가 무엇일까요? 요청한 대로 작동하지 않으면 거의 모든 사용자의 기대를 깨게 됩니다.

상당 부분은 AI 이전부터 있던 편향입니다. 자전거 사진은 대개 기어가 보이는 각도에서 찍으며, 기어는 보통 탑승자의 오른쪽에 있습니다.

LLM에도 환각제에 해당하는 것을 만들 수 있지 않을까요? 아마 사용하는 표본 추출 알고리즘의 temperature를 높이는 것에 해당할 듯합니다.

초등학교 4학년 학생들에게 같은 지시로 그림을 그리게 하고 결과를 알려 줄 교사가 있을까? 우리가 기계와 얼마나 다른지, 차이가 있기는 한지 살펴보면 흥미로울 것 같음.

초등학교에서는 늘 하는 활동임. 어머니가 한동안 초등학교에서 가르쳤는데, 같은 미술 과제에 학생들이 각자 개성을 담는 모습을 가장 좋아하셨음.
모든 아이가 Picasso는 아니지만, 동네·계층·종교 등 비교적 비슷한 배경을 공유하는 아이들 사이에서도 창의적 다양성은 분명히 존재함.

temperature를 바다가 끓어 우주로 날아갈 정도로 높여도, 프롬프트가 평범하면 결과도 평범함. 아이에게 집을 그리라고 하면 사각형 몸체에 삼각형 지붕, 문 하나, 창문 둘, 가끔 굴뚝이 있는 전형적인 집이 나오는 것과 같음.

흥미로운 실험이겠지만, 결과를 온라인에 공유하면 미래 모델의 학습 데이터로 쓰일 가능성이 높다는 점은 씁쓸함.

“아무도 이야기하지 않는 LLM 다양성 붕괴 문제”라지만, 펠리컨 글이 올라올 때마다 계속 이야기해 왔음. 모든 모델이 태양·도로·초록색·목도리·오른쪽 이동이라는 같은 구도를 재현했고, 화풍까지 비슷했음. 프롬프트만 보고 누구나 자연스럽게 떠올릴 조합은 아님.

SVG는 아이콘과 다각형 이미지에 적합해서 주로 그렇게 쓰임. 래스터(raster) 대신 벡터 그래픽을 쓰는 이유는 다각형 수가 적은 대상에서 파일 크기를 크게 줄일 수 있기 때문임. 여기서는 형식 지정 자체가 아이콘 같은 표현을 분명히 암시함.

SVG라고 하면 파일 크기를 줄이고 확대·축소에 대응하기 위한 단순하고 양식화된 그림이 먼저 떠오름. 사진 같은 사실성을 원한다면 그냥 이미지를 요청했을 것이라고 생각함.

정렬(alignment)·RLHF가 다양성을 붕괴시키는 현상일까? 이미지 모델이 기본형에서 turbo로 바뀔 때와 비슷해 보임. 기본 모델은 대개 시드(seed)의 영향을 훨씬 크게 받지만, 증류(distillation) 모델이나 turbo 모델은 그렇지 않음.

프롬프트도 원인인지 궁금함. simonw 벤치마크에 “독창적으로”를 덧붙인 별도 시험을 만들어, 모든 모델이 독창성을 발휘하는 방식마저 같은지 살펴보면 좋겠음.
결국 사람 100명에게 말을 그리라고 해도, Picasso가 그릴 법한 말보다는 평범한 말 사진에 가까운 결과가 많이 나올 가능성이 큼.