AI에게 무엇이든 물어볼 수 있는 시대, 왜 지식은 쌓이지 않는가 — 학습의 병목(Bottleneck)은 '검증'이었다

LLM이 보급되면서 「정보의 획득」은 거의 무료가 되었다. 하지만
지식이 쌓이는 속도는 오히려 떨어진 사람이 많다.
원인은 두 가지.
**trust laundering (신뢰 세탁)**과 self-justification loop (자기 정당화 루프).
AI의 자신만만한 출력을 검증하지 않은 채 「자신의 지식」으로 통과시켜 버린다.
따라서 학습의 율속(Bottleneck, 병목)은 이제 「찾기·읽기」가 아니라
**「검증하기·정착시키기」**로 옮겨갔다.
검증만큼은 AI에게 위임할 수 없다.
나는 외부 뇌(3층 구조 + 5단계 + 반년 규칙)를 통해 이 병목을 해결하고 있다. 그 메커니즘과 「내일부터 할 수 있는」 절차를 공유한다.

대상 독자는 실무에서 AI를 사용하기 시작한 중급자. 「Claude / ChatGPT로 개발도 조사도 폭발적으로 빨라졌는데, 왜인지 몸에 배고 있다는 느낌이 들지 않는다」라는 위화감을 느끼는 사람들을 위한 글이다.

초보자 시절에는 애초에 정보에 도달하는 것 자체가 힘들었다. 공식 문서를 찾고, 영어 기사를 읽고, Stack Overflow를 뒤졌다.
정보 획득 그 자체가 비용이었다.

LLM이 등장하며 그 비용은 거의 제로가 되었다. 설계 상담도, 에러 원인 분류도, 새로운 라이브러리 사용법도 물어보면 몇 초 만에 답이 돌아온다. 실무 속도는 확실히 올라간다.

그런데 반년이 지나 되돌아보면, 다음과 같은 상태가 되어 있지 않은가?

• AI에게 물어본 순간에는 「완전히 이해했다」고 느꼈는데, 일주일 후에는 타인에게 설명할 수 없다
• 같은 것을 3번이나 AI에게 묻고 있다
• 내가 「알고 있는 것」과 「AI에게 물어보면 알 수 있는 것」의 경계가 모호하다

이는 기억력의 문제가 아니라, 학습 프로세스에 두 가지 함정이 있기 때문이다.

AI의 출력은 정돈된 일본어와 자신감 넘치는 톤으로 다가온다. 내용이 옳은지 여부와 출력의 외관적 설득력은 무관함에도 불구하고, 인간은 후자를 보고 신뢰를 판단해 버린다.

그 결과, 검증되지 않은 주장이 「AI가 말했으니까」라는 이유만으로 신뢰를 획득한다. 1차 정보(Primary source)를 확인하면 5분 만에 무너질 오류가, 정제된 문장을 통과함으로써 "세탁"되어 당신의 지식 베이스에 정품으로서 나열된다.

이것이 trust laundering이다. 무서운 점은, 세탁된 오류가 당신 자신의 판단으로서 재사용된다는 점이다. 다음에 누군가에게 설명할 때, 당신은 그것을 「자신이 검증한 지식」으로서 말하게 된다.

「이 이해가 맞을까?」라고 AI에게 확인하면, 대개 「네, 맞습니다」라고 답이 돌아온다. AI는 당신의 전제에 끌려가기 쉬우며, 독립적인 검증자가 아니다.

• 당신 「A라고 이해했습니다」 → AI 「맞습니다 (당신의 전제를 추인)」
• 이것을 「검증했다」고 카운트해 버린다

구현에서도 같은 구도가 발생한다. AI에게 테스트 코드를 쓰게 하고, AI에게 그 테스트를 평가하게 하면, **스스로 자신을 채점하는 폐쇄 루프(Closed loop)**가 생긴다. 초록색 체크 표시가 나열되어도, 아무것도 검증하지 않은 것이다.

중급자의 함정은 초보자의 「정보가 부족함」이 아니라,

「검증하지 않은 정보가 너무 많음」이다.

여기서부터 본론이다. LLM 시대의 학습을 3가지 단계로 나누어 생각한다.

단계	내용	LLM 이전의 비용	LLM 이후의 비용
획득	정보를 찾고 읽기	높음	거의 제로
검증	옳은지 확인하기	중간	낮출 수 없음
정착	재사용 가능한 형태로 남기기	중간	낮출 수 없음

획득만이 폭발적으로 빨라지고, 검증·정착은 그대로다. 따라서 전체 스루풋(Throughput, 처리량)은 「검증·정착」에서 율속된다. 여기에 시간을 다시 할당하지 않으면, 아무리 획득을 빠르게 해도 지식은 쌓이지 않는다.

그리고 중요한 것은, 검증은 AI에게 위임할 수 없다는 것이다.

검증이란 「이 주장을 자신의 책임으로 옳다고 판단하는 것」이다. 판단의 주체를 외부화하는 순간, 그것은 trust laundering가 된다. AI는 검증의 재료(반례, 1차 정보의 위치, 다른 관점)는 제시할 수 있어도, 최종 판단이라는 행위 그 자체는 대신해 줄 수 없다. 이 부분이 인간에게 남겨진 업무다.

추상론으로 끝나지 않기 위해, 내가 실제로 운용하고 있는 「외부 뇌」를 공개한다. Obsidian으로 구축하고 있지만, 도구는 무엇이든 상관없다 (Notion이라도, 단순한 폴더라도 성립한다).

지식을 신뢰도에 따라 물리적으로 분리하는 것이 핵심이다. 같은 폴더에 섞어두면 검증된 것과 미검증된 것의 구분이 사라져 trust laundering가 발생한다.

계층	내용	출처	취급
raw/
AI 출력·기사·메모의 생데이터	LLM, Web, 도서	미검증. 신뢰하지 않음
candidates/
검증 중·확인이 필요한 가설	raw에서 승격	보류 중. 인용 시에는 주석 처리
verified/
스스로 검증을 마친 지식	candidates에서 승격	재사용 가능. 타인에게 설명 가능

포인트는, 무언가를 배웠다면 반드시 raw/ 로부터 시작한다는 것이다. AI의 답변은 처음부터 신뢰하지 않는다. 이것만으로도 「정돈된 문장 = 옳다」라는 착각을 구조적으로 방지할 수 있다.

계층 사이를 움직이는 흐름은 다음과 같다.

탐색: AI나 기사를 통해 넓게 수집한다. 여기는 빨라도 괜찮다. raw/에 집어넣는다 -
검증: ←이 부분이 병목(Bottleneck). 후술할 방법으로 스스로 확인한다 -
축적: 통과한 것을 candidates/로. 아직 확신이 없다면 여기서 숙성시킨다 -
증류: 여러 지식을 압축하여 재사용 가능한 단위(예: Claude Code의 SKILL, 자신용 치트 시트)로 정리한다 -
정착: verified/ 또는 SKILL로서 출력. 출력할 수 있어야 비로소 「몸에 익었다」

candidates/에 넣어둔 채 **반년 동안 손대지 않은 지식은 아카이브(archive)**한다.

외부 뇌는 쌓아둘수록 검색성이 떨어져 죽는다. 「언젠가 쓸지도 모른다」는 것의 99%는 쓰지 않는다. 검증하지 않은 지식을 계속 안고 가는 비용이, 버리고 다시 취득하는 비용보다 높다. LLM 시대에는 재취득이 무료이므로, 이 판단은 더욱 합리적이 되었다.

「검증이 중요하다」라고 말하는 것만으로는 정신론에 불과하므로, 내가 raw/ → candidates/ → verified/ 과정에서 실제로 하고 있는 일을 적는다. 중급자가 그대로 따라 할 수 있는 입도(granularity)로.

코드·설정·명령어에 관한 이야기는, 수중에 직접 실행해 보는 것이 최강의 검증이다. AI가 작성한 CDK 스택도, 우선 cdk diff로 차이점을 자신의 눈으로 확인한다. 초록색 테스트 결과가 아니라, 자신이 관측한 동작을 믿는다.

self-justification loop(자기 정당화 루프)를 끊는 요령: 생성과 검증의 주체를 분리한다. AI에게 코드를 쓰게 했다면, 검증은 자신이 직접 실행한다. 혹은 「이 코드의 허점을 3가지 지적해 줘」라고 반증 측에 세운다(추인이 아니라 부정을 시킨다).

모든 것을 확인(fact-check)할 시간은 없다. 그러므로 주장 중에서 가장 크리티컬한 1가지 포인트만 공식 문서·논문·사양을 확인한다. 그 부분이 무너지면 전체가 무너지는 「급소」를 정밀 타격한다.

AI에게는 「이 주장의 1차 정보 URL은?」이라고 묻고, 그 URL을 직접 열어서 내용을 확인한다 (URL을 묻고 만족한다면, 그것 또한 trust laundering이다).

「이게 맞아?」가 아니라 「이것이 틀렸다면, 어떤 이유 때문인가?」라고 묻는다. 전제를 추인하게 하지 말고, 반대 측을 언어화하게 만든다. 나온 반증을 꺾을 수 있다면, 그 지식은 candidates/로 승격시켜도 좋다.

검증의 본질은 「옳은 증거를 모으는 것」이 아니라 「틀릴 가능성을 없애는 것」이다. AI는 반증의 재료를 내놓는 데 능숙하다. 최종 판단만 스스로 한다.

시스템을 완벽하게 구축하는 것은 무겁다. 최소 구성은 이것뿐이다.

폴더를 2개 만든다: raw/(미검증)와 verified/(검증 완료). AI에게 물어본 내용은 전부 raw/에서 시작한다. 이 폴더 구분만으로도 의식이 바뀐다.
질문 방식을 바꾼다: 「맞아?」를 「틀렸다면 어디가 틀렸어?」로 대체한다. 추인 루프를 부정 루프로 바꿀 뿐이다.
주 1회 1개만 승격시킨다: 그 주에 가장 많이 사용한 지식을 하나 골라, 타인에게 설명할 수 있는 형태로 다시 써서 verified/로 보낸다. 쓸 수 없다면, 그것은 아직 이해하지 못했다는 증거다.

전부 다 할 필요는 없다. 우선 1만이라도 효과가 있다.

LLM으로 「획득」이 무료가 된 시대에, 공부법의 업데이트에서 가장 중요한 것은, 절약한 시간을 「검증과 정착」에 재투자하는 것이라고 생각한다.

AI는 최고의 탐색 엔진이자, 최고의 반증 파트너이기도 하다. 하지만 「옳다고 판단하는」 행위만은 마지막까지 자신의 손에 남는다. 그것을 놓지 않는 것이, AI 시대에 지식이 쌓이는 사람과 그렇지 않은 사람을 가른다 —— 이것이 실무에서 계속 사용해 온 나의 현시점의 결론이다.

저와 같은 위화감을 느끼고 있는 중급자분들에게 참고가 된다면 기쁘겠습니다. 검증 (Verification)의 운용, 여러분은 어떻게 하고 계신가요? 댓글로 알려주세요.