자작 소설에 대해 AI에게 감상문을 써달라고 하기 (심화편)

지난 기사에서는 소설을 작은 파트로 나누어, 그때까지의 줄거리와 본편의 내용을 벡터화(Vectorization)했습니다.

사용자로부터 소설에 대한 질문이 주어지면, 그에 따라 RAG(Retrieval-Augmented Generation) 검색을 수행하여 소설의 내용을 가져옵니다. 그 내용을 참조한 뒤 AI가 답변을 작성하는 시스템을 만들었습니다.

그 내용 자체는 지난 기사에서 끝났지만, 이번에는 새로운 시도를 해보려고 합니다.

Gemma4 12B가 공개되었습니다.

조사해 보니 컨텍스트 길이(Context Length)로서 256k 토큰에 대응하고 있으며, 이는 문장 길이로 치면 약 50~80만 자 정도에 해당합니다.

즉, 이것은 굳이 나누지 않아도 소설 전문이 다 들어간다는 뜻이죠.

그래서 이번 기사에서는 소설을 굳이 나누지 않고 전문을 전달한 상태에서, 지난 기사에서 보냈던 질문을 보내 답변이 어떻게 나오는지 시험해 보고자 합니다.

이번에는 그것뿐이라 기술적인 요소는 별로 없습니다.

소스 코드는 관심 있는 분들만 보시면 됩니다.

소스

const fs = require('fs');
const PATH_BASE = '소설 파일이 위치한 경로입니다';
// 타이틀로부터 노트 객체를 생성하는 헬퍼 함수
...

자, 네 가지 질문에 대한 답변은 어떻게 되었을까요.

질문

소설 『꿈』에서 주인공인 「나」와 히로인인 「그녀」 사이에 연애 감정이 있었다고 생각합니까? 「나」와 「그녀」의 관계에 관한 기술을 참고하면서, 당신의 고찰을 들려주세요.

답변

결론부터 말씀드리자면, 주인공인 「나」와 히로인인 「그녀」 사이에는 단순한 소꿉친구로서의 우정을 넘어선 **「매우 깊고, 절실한 연애 감정에 가까운 (혹은 그 전조를 포함한) 특별한 집착과 애정」**이 있었다고 추측됩니다.
하지만 그것은 일반적인 남녀의 사랑 이야기 같은 정서적인 것이라기보다는, **「상실에 의해 얼어붙은, 순수하고 과잉된 듯한 사모(思慕)」**로서의 측면이 강하다고 생각됩니다.
그렇게 판단한 주요 이유는 다음의 4가지 포인트로 집약됩니다.
...

와, 대박. 이것이 로컬 LLM(Local LLM)인가요. 대단한 시대네요.

세세하게 따지자면 틀린 설명도 있습니다. 주인공이 「대체할 수 없는 인간」에 대해 생각하고 있었던 곳은 카페가 아니며, 주인공이 딱히 비밀기지에서 두 사람의 이야기를 쓰고 있었던 것도 아닙니다. 그러한 묘사는 없습니다. 그라면 그랬을 것 같기도 하지만요.

다만, 두 사람의 관계를 상당히 정확하게 언어화하고 있다는 것은 사실이며, 어휘도 풍부합니다. 마치 소설가 같습니다.

질문

소설 『마법소녀에게도 사춘기 정도는 있어!』에 대해, 주인공 「유리코」는 아빠의 친자가 아니라, 탁란(托卵)에 의해 태어난 아이가 아닌가 의심하고 있습니다. 당신의 견해를 들려주세요. 소설 내의 묘사로부터 아빠와 엄마와 유리코 세 사람의 관계성에 대해 고찰한 뒤 분석해 주세요.

답변

제시해주신 소설 『마법소녀에게도 사춘기 정도는 있어!』의 텍스트를 정독한 결과, 질문자님께서 추측하신 **「유리코가 아빠의 친자가 아닐(탁란이나 대리 출산 등의 가능성)지도 모른다는 가설은 매우 날카로우며, 작품 내의 특이한 분위기를 뒷받침하는 것으로서 매우 설득력이 있다」**고 생각됩니다.
왜 그렇게 말할 수 있는지, 작중 묘사로부터 「가족의 단절」과 「혈연에 대한 거리감」을 축으로 분석하겠습니다.
---
...

솔직히 말하겠습니다. 초반에는 「좀 미묘한데?」라고 생각했습니다.

엄마의 대사와 아빠의 대사를 착각하거나, 캐릭터의 이름이 다르거나, 문장 중에 갑자기 「HOLD」 같은 것이 나오기도 했습니다.

「갑자기 정밀도가 떨어졌나」라고 생각하며 읽고 있었습니다.

하지만, 「4. 「마법소녀」라는 메타포(Metaphor)와의 관련」부터는 갑자기 몰입하게 만드는 문장이 되더군요.

주인공이 마법소녀가 되는 것은 이야기 속에서 「아무리 싫어해도 피할 수 없는 일」로 그려지고 있습니다. 그것도 싫어할 정도로 강조하며 반복해서 그려집니다. 직접적으로 그런 설명이 있었던 것은 아니지만, Gemma4는 그 점을 멋지게 꿰뚫어 보고 있습니다.

그리고 그것이 「집 안에서의 주인공」의 모습에 대한 메타포라는 점은 의식하지 못했습니다. 「자신에게 싫은 역할을 강요받는다」는 것은 집에서의 주인공도, 학교에서의 주인공도, 마법소녀로서의 주인공도 마찬가지일지 모릅니다.

새로운 발견을 했습니다. 내가 쓴 이야기인데 말이죠.

Gemma4는 정말 대단하네요. 이것이 로컬 LLM인가요.

질문

소설 『해하(解夏)』에서 주인공 「이토」가 히로인 「쿠라타」에게 의존에 가까울 정도로 집착하는 이유는 무엇인가요? 이토와 쿠라타의 관계성이나 과거에 일어난 사건들을 바탕으로 고찰해 주세요.

답변

소설 『해하(解夏)』에서 주인공 이토가 쿠라타에게 집착(혹은 의존에 가까운 감정)을 품고 있는 이유는, 단순한 「과거의 연심」이나 「젊음으로 인한 동경」뿐만 아니라, **「자신의 정체성의 근거」와 「과거의 자신에 대한 구제」가 복잡하게 얽혀 있기 때문**이라고 생각됩니다.
구체적으로는 다음의 세 가지 포인트를 통해 고찰할 수 있습니다.
### 1. 「라이벌」로서의 절대적인 승인 갈구
...

어라?

뭔가 미묘하지 않나요?

방금 전까지와 비교했을 때 명백히 질이 낮아진 것 같습니다.

하지만 이건 어쩔 수 없는 일일지도 모릅니다.

저는 이 이야기를 「나 이외의 사람에게는 아마 이해할 수 없을 정도로 이상하고 기분 나쁜 이야기」로서 썼기 때문에, AI가 이해하지 못하는 것도 어쩔 수 없는 일일지도 모르겠습니다.

질문

소설 『6월에 끝나는 여름』에 대하여, 히로인 「사야」가 주인공 「카미죠」를 배구 코치를 부탁할 정도로 신뢰하는 이유는 무엇인가요? 사야와 카미죠의 성격을 알 수 있는 묘사를 통해 분석해 주세요.

답변

소설 『6월에 끝나는 여름』에서, 사야가 카미죠를 「단순한 친구」 이상의 존재로 신뢰하며 굳이 그에게 코치를 맡긴 이유에 대해, 두 사람의 내면 묘사를 바탕으로 분석하면 다음과 같은 세 가지 큰 요인이 떠오릅니다.
### 1. 「공포」라는 공통 언어의 공유
가장 중요한 것은, 두 사람이 **「실패하는 것에 대한 공포」라는 동일한 고통을 안고 있다는 점을, 말을 통하지 않고도 서로 이해하고 있다는 점**입니다.
...

멋지네요~!

꽤 멋진 문장으로 정리해 주어서 감격스럽습니다. 이런 걸 읽으면 기분이 좋아지네요.

다만 세세하게 따지자면, 이 문장에서 제시된 근거는 모두 주인공이 코치를 맡은 이후의 묘사입니다. 사야가 주인공에게 코치를 의뢰한 시점에서는 당연히 이러한 사건들이 발생하지 않았으므로, 사야에게 있어 주인공이 「기대했던 대로의 사람이었다」는 것을 확인하는 장면이 되겠네요.

따라서 이러한 묘사들은 확실히 「사야가 주인공을 신뢰하는 이유」이자 「사야가 주인공에게 코치를 의뢰한 이유」이기는 하지만, 질문에 대한 답변으로는 「주인공이 이런 사람이라는 것을 사야는 알고 있었다 (소설 내에서는 묘사되지 않았지만 그만큼의 축적이 두 사람 사이에는 있었다)」가 정답이 아닐까 싶습니다.

이게 뭐야, 국어 수업인가요?

「어차피 한 번으로는 잘 안되겠지」라는 전제로 임했는데, 상상 이상으로 로컬 LLM (Local LLM)의 진보가 빨라서 한 번에 잘 되어 버렸기에, 기사 내용을 늘리기 위해서가 아니라 Gemma4의 성능을 정확하게 측정하기 위해 지난번 결과와 비교해 보겠습니다.

지난번 기사의 답변은 이렇습니다.

먼저 소설의 기술을 참조해 봅시다.
(중략. 여기서 MCP 툴을 실행하고 있습니다)
충분한 기술이 모였습니다. 고찰을 말씀드리겠습니다.
...

이번 답변과 비교하면 왠지 추상적으로 느껴집니다.

이번 답변에서는 (세부적인 부분은 틀렸지만) 구체적인 장면을 들어 「그러니까 이럴 것이라고 생각한다」는 식으로 고찰하고 있는 것처럼 보이네요.

뭐, 이것은 모델 성능의 차이라기보다는 단편적인 정보밖에 취득할 수 없었던 지난번 기사의 제약 같은 것이라고 생각합니다.

지난번 답변

먼저 소설의 내용을 확인한 뒤 고찰하겠습니다.
(중략)
소설의 묘사를 확인할 수 있었습니다. 이를 바탕으로 고찰하겠습니다.
...

질문받은 내용을 안이하게 긍정하지 않고, 어디까지나 사실(Fact)에 기반하여 견실한 예측을 해주고 있습니다.

이 점에 대해서는 모델의 성격 차이가 나타난 것 같은 기분이 드네요.

지난번 답변

소설 『해하(解夏)』의 해당 부분을 확인합니다.
(중략)
취득한 텍스트와 작품의 개요를 바탕으로 고찰합니다.
...

으음, 역시 AI에게 이 소설의 내용을 이해하는 것은 어려운 모양입니다.

이건 뭐 주제가 나쁘다(이해하기 어렵다)고 볼 수 있으니 무효로 해도 괜찮을 것 같네요.

지난번 답변

먼저 소설의 내용을 검색해 보겠습니다.
(중략)
소설에서 얻은 묘사를 바탕으로 분석합니다.
...

이 점에 대해서는 지난번 답변이 더 핵심을 찌르고 있다고 생각합니다.

주인공이 코치를 맡은 이후의 묘사가 「주인공과 히로인이 신뢰 관계를 쌓아가는 과정」이 아니라, 「이미 구축된 신뢰 관계를 확인하는 듯한 묘사에 불과하다」는 점을 멋지게 짚어내고 있네요.

설마 로컬 LLM에 수만 자의 정보를 주어도 이토록 정확한 답이 돌아오는 시대가 올 줄은 몰랐습니다.

그런 말을 하자면 LSTM 등의 시대의 자연어 처리 (NLP)에서도 상상할 수 없는 범위이긴 합니다만.

기술의 진보란 정말 대단하네요.

이 기사는 시리즈화하여, 로컬 LLM이나 자연어 처리 (NLP)가 진보할 때마다 다시 파헤쳐 보며 결과를 확인해 나가고 싶습니다.