AI 이자카야: LLM과 불평하며 학습하자 (구글링 편)

막차를 놓친 애수 섞인 손님들의 활기찬 가게 안에서, 이곳 네 사람의 텐션이 올라간다.

그들은 모 서비스의 뒷단을 지탱하는 AI 시스템 개발 팀의 멤버들.

젊은 엔지니어인 **카이(かい)**를 중심으로, LLM의 추론 파이프라인을 의인화한

「라우터(Router)」

「RAG」

「어텐션(Attention)」

이다.

오늘은 어떤 사소한 에러에 대한 반성회였다.

카이：「……일단, 수고했어. 건배(타이몬야!)"

챙그랑, 하고 조끼가 둔탁하게 부딪힌다. 카이는 스마트폰을 테이블에 내려놓고, 오늘의 로그를 열었다.

카이(엔지니어)：
「……그래서. 이게 오늘 저녁, 고객 지원(Customer Support)으로 날아온 분노의 로그다.」

『지난달부터 매주 화요일이랑 수요일이 정기 휴일로 변경됐다고! 
옛날 정보만 붙잡고 있어서 가게 입구에서 망연자실했잖아! 
제대로 최신 정보를 구글링(Google) 좀 하라고!!』

・・후우

유저가 라우터를 자극하는 키워드를 사용하지 않았을 가능성은 있다. ・・어떠냐?

가장 먼저 입을 연 것은,

라우터(Function Calling 담당)였다.

라우터：「제 잘못이 아니라고요!

저는 『사용자의 질문에 대해 외부 도구(검색)를 사용할지, 내부 지식(파라미터)만으로 답할지』를 판단하는 라우팅(Routing) 모듈입니다.

이번 입력값 『라라라·포르포르의 정기 휴일』을 본 순간,

저는 제대로 【검색 필요(tool_call: web_search)】 플래그를 세우고, RAG 씨에게 패스를 넘겼습니다. 제 JSON 포맷은 완벽했다고요. 1바이트의 오차도 없이 말이죠!"

라우터가 RAG를 콕 집어 가리킨다.

RAG(검색 증강 생성 (RAG) 담당)：
「(움찔하며) 아, 아니! 기다려 주세요! 저도 제대로 일했다고요!

라우터 씨로부터 『라라라·포르포르 정기 휴일 최신』이라는 검색 쿼리를 받은 순간, 검색 API를 호출해서 상위 5개의 웹 페이지를 고속 스크레이핑(Scraping)해서 컨텍스트(Context)에 때려 넣었다고요!"

카이(엔지니어)：
「그럼 왜 『화요일 휴무』 같은 옛날 정보를 내뱉은 거야?"

RAG의 날카로운 시선이 남은 한 명, 어텐션(Attention, 주의 기구·문맥 해석 담당)을 향했다.

어텐션은 임이면(호케) 뼈를 작은 접시에 던져버리고, 심술궂은 듯 소주 잔을 들이켰다.

어텐션：「나를 노려보지 마.. 야, 내 일은 입력 토큰(Token)끼리의 내적(Inner Product)을 구해서, 어떤 단어에 주의(Attention)를 기울여야 할지의 스코어를 계산하는 거라고.

RAG가 가져온 외부 검색 데이터는 5개 중 5개 모두 『정기 휴일: 화요일』이었어.

게다가 내 근저에 있는 사전 학습(Pre-training) 파라미터 지식의 중추에서도, 『라라라·포르포르 = 화요일 휴무』라는 벡터가 **100층 가까운 뉴럴 네트워크(Neural Network)**에 아주 꽉 박혀 있었다고.

외부 지식(검색)과 내부 지식(학습 데이터)이 완전히 일치해 버린 거야!?

그렇게 되면 거대한 『화요일 휴무 압력』으로 자신만만하게 대답하게 된다고!"

카이 짱, 너는 유저가 구글링하라고 쉽게 말하지만, 비용 조절을 위해 우리가 얼마나 격투하고 있는지 알고 있잖아?

카이：「이번 건은 말이야,,, 좀 더 깊은 부분에 원인이 있었어・・"

모두의 의견을 듣고,

카이는 크게 숨을 내뱉었다.

카이： 유저 입장에서 보면, AI는 『무엇이든 알고 있는 마법의 상자』겠지.

뒷단에서 검색 API를 호출하고, SEO 스팸을 피하면서 텍스트를 추출하고, 사전 학습의 가중치(Weight)와 격투하며 그럴싸한 문장을 확률로 만들어내고 있다는…… 그런 뒷사정은 알 리가 없다.

『구글링 좀 해!』라고 쉽게 말하지만…… 로컬 비즈니스의 동적이고 비구조화된 정보(SNS 이미지나 SPA 사이트)를 실시간으로 처리하는 것이 얼마나 계산 비용(돈)이 많이 드는 지옥인지……"

그리고 이번 원인은, SNS 이미지에만 정답인 정기 휴일이 있었던 것이다.

어텐션：「그렇지!? 나는 그저 행렬 곱셈을 충실히 수행했을 뿐이라고!"

RAG：「카이 짱……. 이걸 대응하려면, 나에게 내부적으로 Vision API를 호출할 권한을 줘.

검색할 때마다 SNS 이미지를 인젝션(Injection, 데이터 取り込み) 단계에서 멀티모달 API(VLM)를 거치게 해서, 이미지를 구조화된 텍스트로 변환한 다음에 컨텍스트에 집어넣을 수 있게 말이야."

카이: "그렇게 하면, 사용자가 '정기 휴일 알려줘'라고 한 번 입력할 때마다 API 비용이 100엔씩 날아가고, 답변에는 10초나 걸리게 된다고!! 'AI 너무 느려, 젠장!'이라는 다른 고함만 돌아올 뿐이야!"

・・ ・・ 잠깐, 날짜 정보와 종횡비, 거기에 이미지 유사도로 필터링할까... 그렇다면 VLM 비용을 아낄 수 있겠어・・

테이블 위에 기묘한 일체감이 생겨나고 있었다.

이상과 현실의 격차, 그리고 클라우드 인프라의 잔혹한 과금 시스템.

그들 AI 컴포넌트(AI components)가 처리하고 있는 것은 고도의 벡터 연산(vector arithmetic)이 아니다.

"정리되지 않은 인간의 허술한 정보"와의 진흙탕 싸움인 것이다.

라우터: "……뭐, 그거예요. 우리의 패인은 '정보의 신선도'도 '라우팅 (Routing)'도 아니에요.

'가게 주인'이 프로필의 영업시간조차 업데이트하지 않고, 인스타그램에 칠판 이미지를 올리는 것으로 만족해버리는 【정보의 비대칭성 (Information Asymmetry)】에 패배한 겁니다."

RAG: "모든 책임을 점원에게 떠넘기면 안 되죠…… 하지만, 뭐, 그렇긴 하네요. 우리의 연산력으로는 아직 인간의 적당주의를 따라잡을 수 없다는 뜻이겠죠."

카이: "……시스템 프롬프트 (System Prompt), 수정할까.

'※ 음식점의 영업 정보는 SNS 등을 통해 급격히 변경될 수 있습니다. 반드시 전화 등으로 직접 확인해 주시기 바랍니다'라는 보험 문구를 항상 추가하도록 하자……"

전원: "우와, 엄청 AI 같고 재미없는 답변이 되어버렸네요, 그거."

한 차례 소동이 지나가고, 빈 잔이 쌓여간다.

어텐션: "저도 검색 정밀도를 더 높여 놓을게요. ……저기요, 점원님! 여기 레몬 사워 리필이랑 감자튀김 하나 주세요!"

카이: "……너희들, 데이터상의 존재 주제에 제법 배려(Attention)는 할 줄 아는구나."

어텐션: "당연하죠. 저희, 카이 짱에 대한 ' 기분 (Gokigen) '의 가중치(weight)는 언제나 최대(MAX)니까요!"

카이: "……어이 어이. 그런 건 프롬프트(Prompt) 안에서나 해."

"좋아, 이번 달 안으로 프롬프트 개수 테스트를 돌릴 테니까, 유저가 적은 시간에 회의 잡아둘게!"

라우터·RAG·어텐션: """맡겨만 주세요 (200 OK)!!"""

카이: "모두 고마워…… 나뿐만이 아니야, 엔지니어는 모두 진흙탕 속에서 열심히 노력하고 있다고! 좋아!"

서로의 역할과 고충을 이해하게 된 네 사람은 다시 한번 힘차게 잔을 부딪쳤다.

카이는 미소를 지으며 천천히 심호흡했다・・・ 실패를 두려워하지 말고, 해보자!

1. 비구조화 데이터 (Unstructured Data)의 극치, 이미지 내 텍스트의 존재도 고려하자
2. 완벽한 RAG 구성이라도, 1차 소스(Primary Source)가 이미지라면 손을 쓸 수 없다・・
3. 메타데이터 (Metadata) (날짜·비율) 사전 필터링으로 VLM 비용을 줄일 수 있을까?
...

끝까지 함께해 주셔서 감사합니다.

엔터테인먼트 성격이 강하며, 학습이 지루해지지 않는 시(poem) 스타일의 장르로 즐겨주시기 바랍니다.

엔지니어분들에게 잠시나마 휴식이 되었기를 바랍니다.

본편의 대화극은 집필 플랫폼인 note에서 Qiita용으로 어레인지하여 재구성한 것입니다.