천리 길도 0보로 GO. LLM Wiki 시대에 흔들리는 '강력한 엔지니어' 도장

안녕하십니까! Panasonic Connect 주식회사 클라우드 솔루션부의 카가입니다.

좋은 시대가 되었네요. Andrej Karpathy 씨가 「LLM Wiki」라는 컨셉을 내세웠습니다. 지식 베이스(Knowledge Base)의 구축과 유지를 LLM이 관리하게 하는 수법으로, 모든 것을 알아서 해주는 편리함에 무릎을 탁 치게 됩니다. 사용하다 보니 문득 신경 쓰이는 점이 생겼습니다.

지식의 정리도 포함하여 LLM Wiki가 알아서 해줍니다. 과거 「강력한 엔지니어(つよつよエンジニア)」 포엠에서, 엔지니어의 힘은 지식의 정리에서 자라난다고 썼습니다. 이 정리 작업의 고단함으로부터 얻을 수 있을 경험치, 즉 「이해 그 자체로 가는 경로」마저 세트로 알아서 사라져 버리는 것 아닌가요?

아니 아니, 거기 인간이 하지 않으면 어떻게 엔지니어가 레벨을 올린단 말입니까!?!

AI가, 일이 아니라 「경험치 벌이의 장」을 빼앗고 있는 것은 아닐까.

「강력한 엔지니어」 양성 도장에, 도장 깨기 AI가 찾아온다! 와아! 와아! 와아!

싸울 것인가, 도망칠 것인가, 흡수할 것인가, 종속할 것인가. 고민하며 새로운 시리즈를 전개해 나가겠습니다.

본 기사부터 「강력한 엔지니어」 속편, AI 시대의 「강력한 엔지니어」 시리즈를 시작합니다. 대략 월 1회 페이스(기준, AI의 진화에 따라 변동 가능)를 예정하고 있습니다.

AI 시대의 「강력한 엔지니어」 시리즈

• 천리 길도 0보로 GO. LLM Wiki 시대에 흔들리는 「강력한 엔지니어」 도장 (본 기사)
• 천리 길의 AI 말은 항상 있으나, 명마를 알아보는 눈은 인간에게만 있다. 「강력한 엔지니어」가 살아남을 3가지 전략
• 천리 제방도 AI 개미의 구멍 하나로 무너진다. 증폭되는 인간의 선의와 악의

(과거분) 「강력한 엔지니어」 시리즈

저자인 Karpathy 씨의 말에 따르면 「이른바 RAG에서 힘든 부분을 LLM이 Wiki로서 편집하게 하는 것」입니다.

전형적인 RAG (Retrieval-Augmented Generation)는 질문할 때마다 소스에서 관련 청크(Chunk)를 모아 답변을 구성하므로, 해석 과정에서 생겨난 지견은 채팅이 끝나면 흩어져 버립니다. 반면 LLM Wiki는 새로운 소스가 들어올 때마다 LLM이 기존 Wiki로 통합하고, 엔티티(Entity)나 개념 페이지를 개정하며, 모순은 플래그(Flag)를 세우고, 참조는 다시 연결합니다. 빌드된 지식의 차분(Difference)을 편집하므로, Wiki가 커질수록 재사용할 수 있는 정리된 지식이 복리로 늘어납니다.

그는 「인간은 소스를 선택하고, 방향을 정하고, 좋은 질문을 던지고, 의미를 생각한다. 번거로운 정리나 상호 참조는 LLM의 일이다」라고 역할 분담을 제시했으며, LLM은 ingest(수집) / query(Q&A) / lint(정합성 체크)의 3가지만 수행합니다. 깔끔합니다.

토큰 효율을 포함해 잘 만들어져 있어서, 필자도 처음에는 순수하게 「정말 편리하네」라고 생각했습니다.

하지만 편리함 뒤에는 희생이 있습니다.

LLM Wiki의 메커니즘은 RPG로 비유하자면, 「고레벨 전제 퀘스트」만을 인간에게 남겨둔 느낌이라는 생각이 들었습니다. 경험치 벌이인 잡몹 전투(＝소스를 읽고, 요약하고, 구조를 정돈하는 진흙탕 작업)는 LLM이 전부 해주고, 플레이어에게 남는 것은 보스전뿐입니다. 「어느 던전에 들어갈 것인가」, 「보스의 약점은 어디인가」, 「드롭 아이템의 가치는 무엇인가」와 같이, 레벨이 올라가 있다는 전제의 플레이만이 남아 있는 인상을 받았습니다. 고레벨 유저들에게는 즐거울지도 모릅니다.

그가 인간에게 남긴 「소스를 선택한다」, 「방향을 정한다」, 「좋은 질문을 던진다」, 「의미를 생각한다」는 전부 고레벨이라는 것, 즉 경험치나 직관력, 해당 영역의 짙은 사전 분포(Prior Distribution)를 가지고 있음을 전제로 합니다. 그리고 그 사전 분포야말로 LLM에게 양도한 잡몹 전투를 통해 얻고 축적해 온 것입니다.

경험치의 공급원을 희생시키고 고레벨 전제 퀘스트만 남겨진다면, 자칫 레벨 1인 채로 보스전을 강요받아, 연출이 아니라 그대로 게임 오버 화면을 보게 될지도 모릅니다.

게임 커뮤니티의 밈 중에 「레벨을 올려서 물리로 때리면 된다」라는 명언이 있는데, 그것을 따라 레벨 1에서 「Wiki 요약본을 읽고, 레벨을 올려서 물리로 때리면 되잖아?」라고? Yes, 해봅시다, 기합과 근성입니다. 우선 10페이지를 정독하면 100페이지도 아직 훑어볼 만합니다. ……하지만 1,000페이지, 1만 페이지가 되면 읽는 속도보다 축적되는 속도가 앞설 것 같습니다.

리니어(Linear)를 탄 거북이를 맨몸으로 쫓는 아킬레우스라는 새로운 장르의 게임일까요, 이제 갈피를 잡을 수 없습니다. 경험치 벌이가 불가능한 게임에서 억지로 레벨을 올려봤자 통할 것이라고는 생각되지 않습니다.

게다가 Wiki 측은 LLM이 무한히 확장할 수 있지만, 인간 측의 레벨업 속도, 즉 인지 대역폭(Cognitive Bandwidth)에는 안타깝게도 쿼터 완화 신청(Quota Relief Request)이 없습니다 (그런 개조가 있어도 곤란하겠지만요).

이러한 분업 설계에는 납득이 가지만, 앞으로 인류가 좋은 질문을 던지기 위해 배우는 도장(道場)은 어디가 될까요? 수준이 낮은 주니어 엔지니어는 어디에서 경험치를 쌓아야 할까요?

……이것은 어쩌면, 백기(白旗)를 드는 것일지도 모르겠네요.

이 찜찜함은 사실 AI 개발의 최전선에서 일하는 사람들도 안고 있었던 듯합니다. Anthropic사가 2025년 8월에 실시한 사내 조사(자사 엔지니어/연구자 132명 대상 설문, 추가로 53명 대상 심층 인터뷰)에서 이를 "paradox of supervision" (감독의 패러독스) 라고 부르며, AI를 효과적으로 사용하려면 감독이 필요하지만, 감독에 필요한 기술은 AI 의존으로 인해 퇴화한다는 점을 공개했습니다.

이 기사 중에서 인상적인 목소리 몇 가지를 소개합니다 (이하 Anthropic 기사 인용·필자 번역).

직접 디버깅에 임하면, 문제와 직접 관련이 없는 문서나 코드도 읽게 된다. 그 과정에서 시스템 전체의 멘탈 모델 (Mental Model)이 길러진다. Claude를 사용하면 그 부분이 통째로 날아간다.

아웃풋을 내는 것이 쉽고 빨라지면 빨라질수록, 무언가를 진정으로 배우는 시간을 갖기가 어려워진다.

기술이 녹슬다는 것 자체보다, AI를 안전하게 감독할 수 있는 능력이 감퇴하는 것이 더 두렵다.

AI 당사자들조차 절반 이상이 "완전히 위임할 수 있는 것은 업무의 0~20%뿐"이라고 답하면서도 "기술이 녹슬어가는 두려움"을 이야기했습니다. 한 엔지니어는 "Claude가 풀 수 있다는 것을 알고 있어도, 가끔은 일부러 부탁하지 않는다"라고도 했습니다.

최전선에서도 당혹스러워하며 달려온 지뢰밭을, 뒤처져 따라가는 우리도 꽤 가벼운 마음으로 들어가게 될 것 같네요.

해당 기사는 외부 연구인 METR (2025)에 대해서도 언급하고 있습니다. 경험이 풍부한 OSS 개발자 16명을 대상으로, 과제(issue)마다 AI 도구 사용 여부를 무작위로 할당한 무작위 대조 시험 (RCT) 결과, AI를 사용하면 개발자는 "20% 빨라졌다"고 느끼고 있었지만, 실제로는 19% 느려져 있었다는, 체감과 실태의 역전이 일어났다는 내용입니다. 당사자가 자신의 작업 속도조차 올바르게 인식하지 못하고 있었다고 제3자 조사가 보고하고 있습니다.

만약을 위해 덧붙이자면, 이 "19% 느리다"는 숙련자가 자신이 익숙한 대규모 리포지토리(Repository)에서 작업했다는, AI에게는 불리한 조건하에서의 수치입니다. Anthropic 조사 역시 자기 보고 및 비익명 방식으로 진행되어, 사회적 바람직성 편향(Social Desirability Bias)이나 선택 편향(Selection Bias)이 있을 수 있음을 스스로 주석 달았습니다. 따라서 이 결과를 두고 "그러니까 AI는 안 된다"라고 일반화할 생각은 없습니다. 그럼에도 불구하고, 당사자가 자신의 속도조차 잘못 파악하고 있었다는 점은 놀랍습니다. 속도조차 오판한다면, 감독하는 기술의 열화는 훨씬 더 알아차리기 어려울 것이라고 생각합니다.

……역시 솔직하게 백기를 드는 것일까요.

반대로, 같은 Anthropic 기사 안에는 정반대의 의견도 있었습니다.

"녹슨다"는 관점은 코딩이 Claude 3.5 이전으로 돌아간다는 전제에 기반하고 있다. 이제 돌아갈 수 없다.

기술 열화 따위는 걱정하지 않는다. 오히려 학습이 가속화되었다.

AI로 인해 "도장이 사라지는" 것이 아니라, 오히려 "더 좋은 도장"이 된다는 주장입니다. 해당 기사에는 "배우는 속도가 올라갔다"는 목소리나, "주니어야말로 신기술에 가장 탐욕스럽기 때문에 미래는 낙관적이다"라는 목소리도 있었습니다. 잡졸과의 전투(雑魚戦)가 사라지더라도, 질문을 던지고, 반론하게 하고, 원리를 배우는 새로운 연습 수단이 생긴다면 도장은 사라진 것이 아니라는 뜻입니다.

과연 정론이라고 생각합니다. AI는 사용법에 따라 역사상 최강의 가정교사가 될 수 있습니다. "도장이 사라지는" 것은 아닙니다. 그렇다면 쫓아내기보다는, 어떻게 대련하여 자신의 양분으로 삼을 것인가라는 관점이 필요해 보입니다.

게다가 그 대련에는 일정한 법도가 있는 것처럼 느껴지기도 합니다. "AI로 학습이 가속화되었다"라고 말하는 엔지니어는 대개 "정답이 어떻게 보여야 하는지"를 이미 알고 있는 고레벨 사용자입니다. 해당 기사의 한 시니어는 "자신이 정답을 알고 있는 상황에서 AI를 사용한다. 그 판별하는 힘은 과거에 손으로 코드를 쓰며 꾸준히 몸에 익힌 것이다"라고 말했습니다.

즉, 그들은 도장 깨기(道場破り)와의 대결 형식을 알고 있는 것입니다. "AI로 가속하는 학습"은 이미 형식을 갖춘 사람의 가속이지, 레벨 1부터 시작하는 촉성 재배가 아닙니다. 똑같은 도장 깨기라도, 이미 형식을 갖춘 자에게는 경험치 보너스, 갖추지 못한 자에게는 그저 일방적으로 두들겨 맞는 보스전이라는 잔혹한 현실이 보입니다.

그렇다면 우리가 취해야 할 스탠스도 보입니다. 한 방 먹지 않으려고 도망 다니는 것이 아니라, 우선 받아치기(受け)의 형식(자신의 이해의 윤곽)을 유지한 채, 상대의 기술을 하나씩 받아내며 검증하는 것입니다. 도장 깨기 AI를 쓰러뜨려 쫓아내는 것도 아니고, 마구 써먹어 부하로 만드는 것도 아니며, 경험치를 쌓는 것을 도와달라고 하는 것입니다.

또한, 해당 기사에는 또 다른 뉘앙스의 목소리들도 나열되어 있었습니다.

• 어셈블리 언어 (Assembly Language)에서 고급 언어 (High-level Language)로 옮겨가며 메모리 관리를 내려놓은 것과 마찬가지로, 레이어 (Layer)가 한 단계 올라갔을 뿐입니다.

하지만 추상화 (Abstraction)에는 비용도 따릅니다. 고급 언어로의 이행으로 많은 엔지니어는 메모리에 대한 깊은 이해를 잃었습니다.

이 "비용"에 대한 지적이 필자에게는 가장 와닿았습니다. 고급 언어를 사용하더라도 메모리 누수 (Memory Leak)나 캐시 미스 (Cache Miss)를 의심할 수 있는 사람은, 어셈블리를 모르는 사람보다 한 단계 더 깊게 파고들 수 있습니다. 어셈블리를 "쓸" 필요는 없지만, "알" 필요는 남아 있습니다. 레이어가 올라가더라도, 아래층을 "아는" 사람과 "블랙박스 (Black Box)인 채로 두는" 사람 사이에는 질문의 깊이 차이가 발생하는 법입니다.

Karpathy 씨 자신도 Gist에 "한쪽에는 LLM 에이전트 (LLM Agent), 다른 한쪽에는 Obsidian을 열어두고, 요약을 읽고, 업데이트를 확인하며, 강조점을 LLM에게 지시하는" 스타일을 선호한다고 적었습니다. 그는 "한 건씩 가져와서 계속 관여하는" 방식을 선호하는 한편, "감독을 줄여서 한꺼번에 가져올 수도 있으며, 방법은 자유롭다"고도 명시했습니다. 즉, 전권 위임을 금지하지는 않지만, 완전히 손을 떼는 것도 권하지 않는다는 것입니다.

아무래도 이 지점에도 무언가 실마리가 숨어 있는 듯합니다.

• 레이어가 다르다는 것을 인식하고, 하위 레이어에서 일어나고 있는 일과 상위 레이어에서 일어날 수 있는 일을 상상할 수 있는가.
• Wiki 생성 시 AI에게 모든 것을 맡기는 것이 아니라, 하나씩 인간이 확인해 나감으로써 Wiki의 범위를 인간의 이해 범위 안에 두는 것.

결국 파고들면, "자신의 이해의 윤곽을 유지하며, AI의 출력을 검산하는" 일이 되며, 이는 편리함과는 정반대 방향으로 향합니다.

이해의 윤곽을 유지한다는 것은, 알고 있는 부분과 모르고 있는 부분의 경계를 스스로 선을 그어 유지하는 것입니다.

검산한다는 것은, AI가 내놓은 답을 다른 경로로 대조하여 맞는지 스스로 확인하는 것입니다.

둘 다 센스가 아니라, 하느냐 마느냐에 따라 결정되는 행동이기에 메뉴화하여 단련할 수 있을 것 같습니다.

여기까지 읽은 예리한 분들은 눈치채실 겁니다. "그 윤곽과 검산, 결국 이해가 없으면 할 수 없는 것 아닌가"라고 말이죠. 맞습니다. 검산하는 능력은 윤곽에 의존하며, 이해가 빈약해진 사람은 "검산 그 자체가 빈약해지고 있다"는 사실조차 깨닫지 못하게 됩니다. 이것이야말로 바로 "감독의 역설 (Paradox of Supervision)"이며, 단련해야 할 메뉴가 이미 고수준 사용자용이 되어가고 있다는 뜻입니다.

그렇기에 순서가 중요합니다. 윤곽이 얇아진 뒤에 검산을 시작해도 이미 늦습니다. 아직 윤곽이 확실할 때, "선을 긋고 검산하는" 습관을 들여 놓아야 합니다. 이것이 역설을 완전히 해결해 주지는 않겠지만, "깨닫지 못하게 되기 전에 몸에 익혀 두는" 정도의 최소한의 저항은 될 수 있을 것입니다. 레벨 1에서 싸우는 것이 아니라, 적어도 지금 미리 레벨 10 정도가 되어 놓자는 것입니다.

AI를 사용하더라도 인간 측이 경험치를 쌓을 수 있다면, 어쩌면 게임 오버(Game Set)가 되지 않을지도 모릅니다.

앞 절에서 보았던 **"윤곽을 유지하는 것"과 "검산하는 것"**이라는 두 가지 행동을, 개인부터 조직까지의 추가 메뉴로서 단계적으로 나열합니다. 과거의 메뉴들도 물론 유효합니다.

【윤곽】 자신의 이해/무이해를 명시적으로 트래킹 (Tracking)하기

리스크 맵 (Risk Map)이나 역량 매트릭스 (Competency Matrix)의 발상과 유사하며, 모르는 것을 알고 있는 상태를 유지하는 근력이야말로 AI 시대에 가장 키우고 싶은 근육이라고 보고 있습니다. 윤곽의 선 긋기를 언어화하여 계속 유지하는 것이 기초 체력입니다.

【윤곽】 LLM에게 Wiki 내용으로 인간에게 질문하게 하기

Wiki에 쿼리 (Query)를 던지고 끝내는 것이 아니라, 인간이 답하고, LLM이 반론하며, 인간이 재고합니다. "알았다고 생각했는데, 막상 질문을 받으니 대답할 수 없는" 상황이 가장 좋은 교재이며, 윤곽의 해진 부분을 매번 그 자리에서 찾아내 줍니다. 아프지만 효과적인, LLM을 선생님으로 사용하는 이미지입니다.

【검산】 효율을 버리고 스스로 잡무(전투)에 뛰어드는 시간을 남겨두기

수집 (Ingest)을 전부 LLM에 맡기지 않고, 중요한 소스는 직접 읽고 Wiki에 통합하는 작업을 의도적으로 남겨둡니다. 예를 들어 "LLM에 넘기기 전에 스스로 3줄 요약을 작성한 뒤 던지고, LLM의 요약과 차이점을 확인하는" 것만으로도, 자신의 답과 AI의 답을 대조하는 검산이 됩니다. 한 달에 몇 건이라도 가공되지 않은 원천 소스(Raw Source)와 씨름하고 있다면 레벨이 녹슬지 않을 것입니다. 일부러 고생하는 편이 머리에 더 남는다는 것은 학습 과학에서도 말하는 바입니다 (이를 "바람직한 어려움 (Desirable Difficulty)"이라고 부른다고 합니다). 효율성의 저하가 곧 경험치가 됩니다. Anthropic 엔지니어가 "가끔 AI 없이 코드를 작성한다"는 것도 일리가 있는 말입니다.

【검산】 Wiki를 맹신하지 말고, 오류도 복리로 쌓인다고 의심하기

【검산】 Wiki를 맹신하지 말고, 오류도 복리로 쌓인다고 의심하기

Wiki가 비대해질수록 정리된 지식이 복리로 늘어난다고 서두에 썼지만, 복리로 늘어나는 것이 지식뿐만은 아닙니다. 수집 순서의 편향(Bias), 오래된 기술, 극단적으로는 악의적인 소스에 의한 오염(Lint는 모순은 찾아내도 적대성은 찾아내지 못함) —— 오류 또한 복리로 쌓입니다. Karpathy 씨의 Gist 댓글란에서도 바로 이러한 오염이나 진부화가 논점으로 떠오르고 있습니다. "Wiki에 그렇게 적혀 있었다"를 그대로 받아들이지 않고, 1차 소스(Primary Source)로 사실 관계를 확인하는 습관은 검산 경로를 두텁게 만드는 훈련 그 자체입니다. 이는 제3회 「증폭되는 인간의 선의와 악의」에서 심도 있게 다루겠습니다.

【조직】 주니어의 「경험치 쌓는 장」을 남기기

온보딩(Onboarding)이나 초기 태스크에, LLM에게 묻지 않고 1차 소스를 읽어 요약하는 의식을 의도적으로 남겨둡니다. Wiki가 너무 잘 정돈되어 있을수록 주니어는 윤곽을 그리는 연습도, 검산하는 연습도 할 수 없습니다. Anthropic 조사에서는 "자신이 던지는 질문의 8~9할이 Claude로 향하게 되었다", "주니어가 질문하러 오는 기회가 줄었다 (단, 이전보다 더 빠르게 답을 얻고 더 빠르게 배우고는 있다)"라는 목소리도 있습니다. **질문하러 가는 길에 얻을 수 있었던 문맥(Context)이나 암묵지(Tacit Knowledge)**까지 통째로 사라지기 전에, 조직의 기억을 운반하는 모세혈관을 의도적으로 남겨두는 움직임이 필요합니다. 여기서 손을 놓으면, 5년 후, 10년 후에 조직을 짊어질 주니어가 성장하지 못합니다. 미래 세대에게 빚을 남기게 되는 것입니다.

추가한 메뉴로는, 개인으로서 윤곽을 그리고, 검산으로 확인하며, 조직에서 그 경로를 남기는 것입니다. AI가 편리해지더라도 경험치를 쌓을 수 있는 장을 남겨둘 수 있도록 해야 합니다.

【칼럼】 카내비(Car Navigation) 의존과 LLM Wiki 의존, 결정적으로 다른 점

"카내비에 의존하면 길을 외우지 못하게 된다"는 누구나 아는 기지의 현상이지만, 카내비의 경우에는 목적지만큼은 인간이 알고 있다는 전제가 있습니다. LLM Wiki의 경우에는 "어디로 가고 싶은가 = 무엇을 물어야 하는가"조차 알 수 없게 될 수도 있다는 점을 우려하고 있습니다. 어쩌면 AI 내비게이션이라면 운전자의 기분이나 바이브스(Vibes, 분위기)에 맞춰 목적지를 제안할 수 있을지도 모릅니다. 하지만 목적지까지 결정해 버리는 것은 본말전도입니다. 너무하시네, 엔진을 걸기 전에 목적지부터 정해 두시라니까요.

과거에 "직접 걸어라"라고 썼지만, AI로 인해 천리 길도 0보로 갈 수 있는 시대가 되었고, 걷는 수단이 말이든 공중 부양선이든 "목적지는 AI에 맡기지 마라"라고 말할 수 있을 것 같습니다. 목적지를 결정하려면 자신의 이해의 윤곽을 가지고, AI가 제시한 길을 검산할 수 있는지가 핵심입니다.

앞으로의 AI 시대에 "강력한(tsuyotsuyo) 엔지니어"로서 살아남는 사람은, 모든 것을 AI에 맡기는 사람도, 모든 것을 자력으로 하는 사람도 아닌, 그 두 가지를 모두 놓지 않으면서 AI의 답이 어긋나도 알아차리고 수정할 수 있는 사람이 아닐까 합니다.

다음 회에서는 도장 깨기 AI를 어떻게 다룰 것인지, 그 고삐를 쥐는 법을 「이 선생의 살아남는 3가지 전략」으로 깊이 있게 다루어 보겠습니다.

제3회에서는, Wiki의 지식이 복리로 늘어나면 「오류」도 「악의」도 똑같이 복리로 늘어납니다. 계속해서 정돈해 나가는 지식의 「천리 제방도 AI 개미의 구멍 하나로 무너진다」에서, 증폭되는 것은 선의인가 악의인가.

도장 깨기 AI에 대해, 싸울 것인가, 도망칠 것인가, 흡수할 것인가, 종속될 것인가. 아직 답을 내지 못했습니다.

다만, AI와 어떤 스탠스로 마주할 것인가 하는 관점은 보이기 시작했습니다. 조금 더 고민해 보고자 합니다.

면책 고지

기사 내용은 개인의 견해이며, 소속 조직의 입장이나 전략 및 의견을 대표하지 않습니다.

어디까지나 엔지니어로서의 경험과 생각을 발신하는 것이므로 양해 부탁드립니다.