트랜스포머 주간에 저희 그룹은 InkMind라는 작은 시 쓰기 AI를 만들었습니다. 저희는 Poetry Foundation의 약 13,800편의 시를 사용하여 Google Colab에서 처음부터 이를 훈련했습니다. 이 AI는 한 번에 하나의 문자를 읽으며 256개의 문자를 동시에 살펴봅니다.
이것을 만드는 과정에서 많은 것을 배웠습니다. 하지만 솔직히 말하자면, 시가 좋지 않습니다. InkMind는 단일 문자만 보고 적은 양의 데이터로 학습했기 때문에 단어를 잘못 쓰거나, 반복하거나, 자신이 하던 말을 잊어버립니다. 그래서 이 과제를 위해 저는 다음과 같은 질문을 던졌습니다: 어떤 기존 모델이 더 잘 수행할 수 있을까?
저는 세 가지를 살펴보았습니다.
GPT-2는 ChatGPT의 기반이 되는 모델 계열의 작은 버전으로, 1억 2,400만 개의 파라미터를 가지고 있습니다. 이것은 저희가 만든 것과 같은 방식으로 구축되었지만, 방대한 양의 텍스트로 학습했으며 단일 문자 대신 청크(덩어리) 단위로 단어를 읽습니다.
Qwen3-4B-Instruct는 지시 사항을 잘 따르는 새로운 오픈 모델입니다. 아마도 더 아름다운 시를 쓸 수 있겠지만, 로드하는 데만 약 8GB의 GPU 메모리가 필요하기 때문에 무료 Colab 환경에서는 느리고 무겁습니다.
BERT는 텍스트 이해에는 뛰어나지만, 새로운 것을 쓰는 것이 아니라 누락된 단어를 채우도록 만들어졌습니다. 시를 쓰기에는 잘못된 도구입니다.
저는 세 가지 이유로 GPT-2를 선택했습니다.
첫째, 이것은 InkMind와 유사하게 작동합니다. 저희가 자체적으로 구축했기 때문에 두 모델을 비교하여 무엇이 실제로 달라지는지 볼 수 있습니다: 크기, 텍스트 분할 방식, 그리고 학습 데이터입니다.
둘째, 이것은 저희의 가장 큰 문제를 해결해 줍니다. GPT-2는 일반적인 단어들을 온전하게 유지하기 때문에, 저희가 했던 것처럼 무(無)에서 철자를 배울 필요가 없습니다.
셋째, 실행하기 쉽습니다. 무료 Colab에서 작동하므로, 저희는 두 모델 모두에게 “The moon shines over the hills” 또는 “In the heart of Kigali”와 같은 동일한 프롬프트를 제공하고 시를 나란히 비교할 수 있습니다.
Qwen3가 더 좋은 시를 쓸 가능성이 높지만, 훨씬 크고 내부적으로 이해하기 어렵습니다. 학습 프로젝트의 관점에서는 단순히 더 멋진 결과물을 얻는 것보다 시들이 왜 다른지 아는 것이 더 중요합니다. 만약 제가 오직 최고의 시만을 원했다면, Qwen3가 다음 시도 대상이 되었을 것입니다.
GPT-2 역시 완벽하지는 않습니다. 시에 대해 훈련되지 않았기 때문에 여전히 장황해지거나 스스로를 반복할 수 있으며, 인터넷에서 편향성을 습득할 수도 있습니다. 또한 크다고 해서 기본적으로 더 좋다는 의미는 아니므로, 저희의 테스트가 개선되었다고 보여줄 때만 그렇게 말하겠습니다. 그 후에, 실제 시인들의 스타일을 학습하도록 GPT-2를 Poetry Foundation의 시들로 미세 조정(fine-tune)하고 싶습니다.
이것이 제가 선택한 방식입니다: InkMind를 위한 GPT-2. 다음으로, 두 모델 모두를 동일한 다섯 가지 프롬프트(prompts)에 돌려보고 어떤 일이 일어나는지 지켜볼 것입니다.