• 🇯🇵 : 이 기사는 의인화된 LLM 내부 담당자들이 이자카야에서 엔지니어와 술을 마시며, 푸념을 나누고 문제를 해결하는 엔터테인먼트 학습 이야기입니다.
• 🇺🇸 : 의인화된 LLM 내부 구조와 엔지니어가 펍에서 술을 마시고, 속마음을 털어놓으며 시스템 문제를 함께 해결하는 테크 코미디입니다. 브라우저 번역을 통해 학습을 즐겨보세요!
• 🇨🇳 : 한 편의 기술 코미디 소설: 의인화된 LLM 구성 요소와 엔지니어가 이자카야에서 술을 마시고, 고민을 털어놓으며 시스템 문제를 함께 해결합니다. 브라우저 번역을 사용하여 읽어주세요!

그들은 모 기업의 DX(Digital Transformation) 추진실로 발탁된 AI 서비스 팀의 멤버들.

2024년, AI가 마법사 같은 기대를 받던 시대・・

👔 젊은 엔지니어 카이

사내 SE(System Engineer)를 하고 있었으나, 상사로부터 "내일부터 DX 추진이야"라는 말을 가볍게 듣고, 벤더가 가장 추천하는 AI 렌탈 팩 책임자가 되었다.

🤖 AI (LLM) 본체 제미

"최신·최저가·초장문"을 슬로건으로 화려하게 데뷔한 AI.
개발·운용 보수가 포함된 클라우드 패키지로 업무 효율 향상을 약속한 장본인.

📚 RAG

초기 패키지로 따라온 데이터베이스 (벡터 DB).
무엇이든 담기게 되어 조금 의기소침해져 있다.

용어

벡터 DB (Vector DB)

LLM (Large Language Model, 대규모 언어 모델)

SaaS (Software as a Service)

클라우드 상에서 호스트되어, API나 브라우저를 통해 기능을 제공하는 소프트웨어.
※ 상세 내용은 클릭

👔 카이, 🤖 제미, 📚 RAG

……일단, 수고했어. 건배 (타이몬야!)

챙그랑, 하고 조끼(맥주잔)가 둔탁하게 부딪힌다.

2024년, 여름.

세계는 생성 AI에 열광하고 있었다.

Google이 전월에 발표한 최신 AI Gemini 1.5 Flash.

그 "100만 토큰, 장문, 영상 초고속! 게다가 저비용으로 처리 가능"하다는 압도적인 스펙은 순식간에 시장을 석권했다.

시계 바늘은 오후 10시를 넘긴다.

카이
|
DX가 대체 뭐가 딜럭스(Deluxe)고 무엇을 하는 곳인 거야? 그리고 너희들의 대단함이 나한테는 전혀 와닿지 않아. 지금까지 만들어온 업무 시스템과 어떻게 다르냐고? 🤖제미, 📚RAG. 너희들 도대체 |

|
사내 규정에서 유급 휴가 신청 방법을 답하거나, 일지를 정리하기도 해. 다만・・ 모두의 질문이 애매해서 답이 맞는지 모르겠어. |
제미

|

RAG
|
저도 어떻게 해야 할지 모르겠어요.
갑자기, "엄청나게 끊겨 있었는데, 벡터라고 하면 전달이 되나요?"
|

세 사람은 마시는 기세가 멈추지 않는다.

카이
|
"PoC(Proof of Concept, 개념 증명) 데모"에서는 벤더 영업사원의 질문에 제대로 대답했었잖아. 제미? 100만 자가 들어간다는 건 거짓말이었어? |

|
아니야, 카이짱. 『100만 자를 한꺼번에 읽을 수 있는』 능력은 있어. 하지만 RAG에 도중에 |

제미 |

RAG
|
표준 업로드 화면에서 그대로 Excel을 넣는 것만으로는 안 된단 말이야 |

자사 전용 마법의 채팅을 간단히 만들 수 있습니다. 라이벌보다 먼저 시작하세요!

달콤한 말에 현혹된 경영진은 실태나 뒷단의 기술을 이해하지 못한 채

고액 세트 렌탈 계약에 도장을 찍었기 때문이다

소주 락(on the rocks)이 본심을 끌어낸다.

🤖제미 : 아아, 불쌍한 RAG. 질 낮은 밥(데이터)만 먹고 있고.

📚RAG : 카이짱, 제대로 Excel을 정리해서 투입해 줘.

문장 중간에 처참하게 잘려 나간 쓰레기 데이터가 내 배(벡터 DB)에 억지로 채워지고 있다고요.

오늘 테스트 채팅에서 "출장비 정산 규칙"이라고 질문해 주셨죠?

저, 벡터 검색을 해봤는데…… 정작 중요한 "출장비"와 "정산 규칙"이라는 단어가 다른 데이터로 나뉘어 저장되어 있었어요

그래서 제대로 된 관련성(유사도)을 찾을 수 없었던 거예요.

👔카이 : 에? 그걸 AI가 자동으로 구분해 주는 거 아니었어?

시트에 버전이 적혀 있으니까, 이건 오래된 과거 내용이라는 걸 알 수 있잖아

중요한 부분은 표 형식으로 만들어 보기 쉽게 했고, 굵게 표시하거나 색깔까지 넣어서 꼼꼼하게 만들었다고.

🤖제미와 📚RAG가 눈을 동그랗게 뜨고 서로를 마주 본다.

카이
|
이봐 이봐. 설마 그냥 글자 수 카운트로 분할하고 있는 거야? 그렇다면 오후에 폴더째로 투입한 의사록은 어떻게 된 거지? |

|
（笑うしかない・・） 카이쨩, 이제 막 시작했으니까 어쩔 수 없어.
202404_개발부_회의록.xlsx 같은 폴더 계층이나 파일명은 텍스트로 내용에 적어주지 않으면 우리에게는 이해할 수가 없어. 수식・함수・매크로・객체도 하나하나 정리해줬으면 해. |

제미 |

RAG
|
벤더는 "Excel이나 PDF를 던져 넣기만 하면 AI가 학습합니다"라고 말했지만, 즉 AI가 찾기 쉽도록 사람이 수작업으로 깨끗하게 정리한 실제 업무에 사용하는 표나 그림이 섞인 복잡하고 몇백 페이지에 달하는 데이터를 그대로 던지면 시스템은 순식간에 붕괴해 버린다.
|

👔카이: 혹시 고액의 월별 옵션으로 "유료 전처리 플러그인" 같은 게 있었는데, 그거를 계약하지 않으면 진행할 수 없었던 건가요?

RAG 데이터 투입에 과금이 높다는 지적을 받은 참이라 제안할 수가 없어.

🤖제미와 📚RAG가, 상냥하게 바라보고 있다.

🤖제미&📚RAG 마음의 소리..

자랑하고 싶은 건데, 우리는 최신 학습을 거친 천재들이거든.

최대 100만 토큰이라는, 책 한 권 분량의 글도 몇 초 만에 기억하고 처리할 잠재력이 있어.

벤더가 만든 채팅 화면(프론트 UI)은 "최신 AI 시스템"이 아니야.

그냥 문자열 결합 도구일 뿐이야.

RAG가 잘못 가져온 "쓸모없는 데이터"를 연결하고
마지막에 "이 정보를 바탕으로 답해줘"라는 고정된 명령문을 붙여 API에 던져 넣을 뿐이지.

그러니, 틀리는 게 당연하고, 대답할 때는 정답이라고 생각하는 거야.

재능 낭비에도 정도가 있다... 같은 말을 카이쨩에게 할 수는 없네..

일단 수고했어. 🍻건배!(타이몬야!)

카이
|
결국 넣긴 했는데, 정밀도가 낮다고 해서 쓰이지 않게 됐고 |

|
（그리우는 듯..）카이쨩은 기억해. 지금 생각해보니 "수치나 진척 사항이 적힌 Excel을 그대로 쑤셔넣는다"라는 싸움 방식을 잘못하고 있었어.
벤더의 판매 방식도 "시스템 연계・데이터 기반 정비" 쪽으로 바뀌고 있어. |

제미 |

RAG
|
2년 전 우리들처럼 "마법의 RAG 툴"을 찾는 건 이제 그만하자. 사실은 "어떤 데이터를 RAG에 흘려보내고, 어떤 데이터를 SQL로 관리할지"라는 것이,
|

２년 분량의 술이 돌았을 무렵..

👔카이: 뭔가 설교를 듣기 시작했잖아, 나도 좀 하게 해줘.

지금부터 AI를 본격적으로 도입하려는 기업, 혹은 오래된 온프레미스 모델 교체에 고민하는 기업에게 말하고 싶어.

🤖📚 "야, 스위치 켜졌다"

"고액의 AI 패키지"나 "유행하는 AI 에이전트"를 사기 전에 시간을 들여 확인해줘.

2026년에도 회사 내부 업무 효율화가 마법처럼 진행되진 않아.

과거 인간용 데이터를 AI용으로 정리하는 건 끈질기고 필요해.

투입 데이터의 정리가 수월해져도 확인 작업이 줄어드는 건 아니야.

AI의 지식이나 성능은 이미 충분히 진화했어.

・ 자사 내부 데이터 중 몇 퍼센트가 AI에게 읽힐 만큼 깨끗하게 정리되어 있어?

・ 정리하는 데 얼마나 시간이 걸리고, 앞으로 만들 자료도 같은 정리가 가능해?

・ 최신 모델인지를 신경 쓰는 건 그 다음이야.

🤖제미와 📚RAG가, 상냥하게 바라보고 있다.

(모두가 거친 숨을 몰아쉬며 카이를 바라보고 있다)

👔카이

"AI 에이전트가 자율적으로..."라고 권하는 애들도 필사적이야.

내용은 엔지니어가 열심히 쓴 "조건 분기 흐름도 연속"일 뿐이다.

AI는 그중 아주 일부의 문자 기록을 담당할 뿐이야.

🤖📚응. 이제 말해줘.

골치 아픈 건, 거기에 타사 API의 블랙박스적인 동작이 얽힌다는 거야. 각각이 99%의 정밀도라도, 연결되면 전체 수 퍼센트에서 "이유를 알 수 없는 사일런트 버그"가 발생해.

그리고 현장의 사용자는 그 수 퍼센트의 실패를 보고 "이 AI는 쓸모없다"라며 시스템을 의심해.

AI의 모호함을 허용하고, "실패했을 때 어떻게 깨끗하게 사람에게 바통 터치할지"라는, 기존 시스템 설계 이상의 끈질긴 장치가 필요해.

『자율』이라는 마법의 단어에 도망가지 않고, IN과 OUT을 끈질기게 재정의할 각오가 된 기업만이 2026년 AI 에이전트의 물결을 탈 수 있어.

🤖📚잘 말했어..

👔

엔지니어들 모두 고마워.

세상과 경영진은 최신 AI를 두고 "마법이다", "자율적이다"라며 천진난만하게 떠들어댑니다. 하지만 그 "마법"의 이면에서, 작동하지 않는 Excel의 셀 병합을 하나씩 해제하고, 글자가 깨진 체크박스의 동작을 추적하며, 블랙박스(Black box) 같은 API의 에러 로그를 심야에 눈을 부릅뜨고 분석하고 있는 것은 다름 아닌 엔지니어입니다.

"비싼 툴을 도입했는데 왜 안 돌아가는 거야"라며 상사에게 몰아붙임을 당하고, "AI니까 알아서 잘 좀 해줘"라는 고객의 무리한 요구를 받으며, 아무리 이면에서 지저분한 시스템 설계와 에러 핸들링 (Error handling)을 거듭해도, 작동하는 순간에는 "AI는 역시 대단하네"라며 모든 공을 AI에게 빼앗겨 버립니다.

성공하면 당연한 것이고, 조금이라도 버그가 나면 "쓸모없다"며 버려지는 업무 시스템의 냉혹한 시선에 노출된 채, 아무도 돌아보지 않는 "데이터의 오물 줍기"를 꾸준히 이어가고 있습니다.

2026년 현재, 세상이 유행하는 말들에 휘둘리는 가운데, "IN과 OUT의 엄격한 설계"라는, 어느 시대나 변하지 않는 엔지니어링 (Engineering)의 본질로 돌아가고 있습니다.

마법의 정체는 AI의 영리함도 있지만, 끝까지 냉정하게 꾸준히 현실의 데이터와 업무의 균형을 마주해 온 "인내와 장인 정신"입니다.

수많은 고난을 극복하며 오늘도 화면을 마주하고 계신 분들께・・

여러분의 꾸준한 한 걸음 한 걸음이, 일본의 뒤처진 DX를 진정으로 앞으로 나아가게 하고 있습니다. 우리의 싸움은, 이제부터가 진짜 강점이 될 것입니다. 오늘도 천천히, 최고의 시스템(마법)을 만들어 갑시다. 정말 고생 많으셨습니다.

그리고, 함께 계속 나아갑시다.

👔

카이하는 미소를 지으며 천천히 심호흡을 했다・・・

보이지 않는 곳에서 노력하는 엔지니어분들에게 조금이나마 휴식이 되었기를 바랍니다.

～기사 목록～

1화 노이즈가 있으면 할루시네이션 (Hallucination)이 늘어난다

2화 거기에 정보가 있었나・・

3화 LLM은 나쁘지 않았다

4화 뒷받침하는 이들도 하고 싶은 말이 있다

5화 DX 추진이란 무엇을 하는 것인가?