같은 질문에 이번 주에도 몇 번이나 대답했을까. 제품의 스펙. 사용 방법의 절차. 대부분 취급 설명서에 적혀 있고, 과거에 누군가가 채팅으로 대답하기도 했다. 그런데도 또 질문이 들어온다. 이전 답변을 찾지 못하거나, 혹은 찾지 않고 그냥 묻는다.

나의 답변 방식은 대개 정해져 있었다. 설명서의 해당 페이지 스크린샷을 붙여넣으며 "여기에 적혀 있습니다". 이전에 채팅으로 답변했던 질문이라면 그 답변 링크를 붙여넣으며 "이거, 전에도 답변했습니다". 이 반복이 계속되어 너무나 아까웠다.

미리 말해두자면, 이것은 '완성된 이야기'가 아니다. 운영을 시작한 지 두 달 정도 되었다. 시스템은 구축되었고, 지금 현장에서 키워나가는 중이다. 그럼에도 설계 방식은 미리 써둘 가치가 있다고 생각하기에, 청소·거짓말 방지·운용 순으로 남겨두겠다.

FAQ를 '만들어 두는 것'은 처음부터 포기했다

사내용 FAQ를 정비해서 해결하겠다는 생각은 하지 않았다. 상품은 많다. 전혀 예상치 못한 질문도 들어온다. 모든 것을 망라한 문서를 만들어내는 것은 아무리 생각해도 무리였다. 만든 순간부터 낡아지는 문서를 누가 영원히 유지보수(Maintenance) 하겠는가.

그래서 목표를 바꿨다. FAQ를 만들어 두는 것은 포기한다. 대신 목표로 삼은 것은 **"질문이 오지 않는 상태로 조금씩 다가가는 것"**이다.

답변이라면 이미 사내에 있다. 취급 설명서에, 웹 상품 페이지에, 그리고 몇 년 치의 채팅 이력에. 부족한 것은 지식이 아니라 정리뿐이었다. 그렇다면 그것을 모아서 AI에게 읽히면 된다.

그 그릇으로는 Google의 NotebookLM을 사용했다. 읽힌 자료의 범위 내에서 답변해 주는 AI 노트로, 답변에는 "어떤 자료를 근거로 했는지"가 표시된다. 정리된 사내의 지혜를 여기에 쌓아두고, 질문은 여기에 던지도록 한다. 사람이 매번 제로(Zero)에서 입력하는 대신, NotebookLM이 자료 더미에서 1차 답변을 반환한다.

벽 1—— 가공되지 않은 대화는 그대로 먹일 수 없다

첫 번째 벽은 사내 채팅(Google Chat)을 그대로 NotebookLM에 전달할 수 없다는 점이었다.

몇 년 치의 대화에는 다양한 것들이 섞여 있다. 고객의 질문이 그대로 적혀 있거나, 고객이 착각한 상태로 물어온 내용이거나. 사내에서도 잘못된 상품 지식이 오가기도 한다. 이런 것을 그대로 먹이면, 오류까지 포함하여 "사내의 지혜"로서 답변으로 변해버린다.

그래서 청소했다. 시스템의 자동 메시지를 제거하고, 관계없는 잡담을 버리고, 질문과 답변의 형태로 다시 정리한다. 손님 방문 전에 바닥을 청소하는 것과 마찬가지로, 아무도 하고 싶어 하지 않는 꾸준한 작업이다.

이 부분이 가장 손이 많이 갔다. 이유는 두 가지다.

양. 채팅 이력은 긴 것으로는 5년이나 8년도 된다. 게다가 여러 채널에 흩어져 있고, 무관한 이야기도 대량으로 섞여 있다. Q&A 형태로 재구성하려면 결국 수중에 있는 AI(Claude Code)에게 전부 읽힐 수밖에 없다 -
읽히는 비용. Claude Code와 같은 에이전트형 AI에는 일정 시간 동안 사용할 수 있는 양에 제한이 있다. 방대한 이력을 한꺼번에 읽히면 그 할당량을 통째로 잡아먹어, 읽히는 동안은 물론 그 이후에도 다른 작업에 투입할 수 없다. 그래서 할당량에 여유가 있는 타이밍을 노려, 내가 사용하지 않는 시간에 조금씩 읽혔다

청소를 거치고 나니 소스의 양은 절반 이하로 떨어졌다. 필요 없는 것들이 그만큼 섞여 있었다는 뜻이다.

벽 2—— "그럴듯한 거짓말"은 발생한 뒤에 지우는 것이 아니라, 발생하지 않도록 설계한다

청소를 하면 눈에 보이는 쓰레기는 사라진다. 하지만 정말 무서운 것은 청소로는 사라지지 않는 것——AI가 있지도 않은 답을 그럴듯하게 만들어내는, 이른바 할루시네이션(Hallucination)이다.

특히 위험한 것은 답변의 근거가 채팅뿐일 때다. 대화에서는 "이쪽에서 대응하겠습니다"라고만 말했는데, AI는 "○○하면 해결됩니다"라는 확정적인 답변으로 만들어버린다. 원래 대화에는 그런 결론이 없는데도 말이다. 그럴듯한 문장은 쓸 수 있기 때문에 언뜻 봐서는 알아채지 못한다.

그래서 거짓말이 나오지 않도록 처음부터 설계했다. 접근 방식은 두 가지다.

소스를 한 계통으로 두지 않는다. 동일한 제품에 대해, 정리된 채팅 Q&A에 더해 취급 설명서와 웹에 공개된 상품 페이지의 스펙도 함께 읽힌다. 하나의 제품을 여러 각도에서 대조하면, 어딘가와 어긋났을 때 "수상하다"는 것을 알 수 있다. 일방적인 편견 상태로 답변을 만들게 하지 않는다 -
처음에 약속시킨다. 이것은 어디까지나 1차적인 정보이며, 세부적인 부분까지는 책임을 질 수 없다는 것. 조금이라도 위화감이 있다면 그대로 믿지 말고 사내 채팅으로 직접 확인해 달라는 것. 이 유의 사항을 답변에 반드시 첨부하도록 초기 설정했다 -

결과적으로, 현재까지는 지어낸 답변이 나오지 않았다. 물론 운영한 지는 아직 두 달째이며, 이것으로 완벽하다고는 생각하지 않는다. 하지만 "나온 뒤에 깨닫고 지우는" 것보다 "나오지 않도록 미리 조치를 취하는" 것. 순서만큼은 그렇게 해두고 싶었다.

효과는 아직 숫자로 나타나지 않는다. 그래도 가동하기 시작했다

솔직히 쓰겠다. 극적으로 변했다고는 아직 말할 수 없다.

"같은 질문이 조금 줄었나?"라는 체감은 있다. 하지만 명확하게 숫자로 보여줄 수 있을 정도는 아니다. 애초에 "오지 않은 질문"을 세는 것은 어렵다. 효과가 눈에 보이기 시작하는 것은 이제부터다.

그래도 가동하기 시작했다는 것에 의미가 있다고 생각한다. 완벽하게 완성되기를 기다린다면 언제까지고 시작할 수 없다. 청소도 거짓말 방지도 운영하면서 고쳐나가면 된다.

게다가 이 NotebookLM은 내버려 두어도 새로워진다. 매일 쌓이는 Google Chat의 대화뿐만이 아니다. 취급 설명서도, 웹 상품 페이지도, 자사의 상품 마스터(상품 정보의 근간)도, 한 달에 한 번 GitHub Actions 위에 둔 자동화된 메커니즘이 가져와서 읽힐 자료를 최신 상태로 유지한다. 내 PC가 꺼져 있는 동안에도 그것은 움직이고 있다. 손을 떼고 있어도 내용은 나날이 성장해 간다.

암묵지(Tacit Knowledge)는 옮길 수 있다

회사의 지혜 대부분은 문서화되어 있지 않다. 베테랑의 머릿속과 흘러가며 사라지는 채팅 속에 있다. 인수인계 때마다 상실되고, 사람이 퇴사할 때마다 조금씩 줄어드는, 그 눈에 보이지 않는 자산——암묵지(Tacit Knowledge)다.

그것은 옮길 수 있다. 완벽한 형태가 아니어도 좋다. 어지러운 대화를 수집하고, 거짓이 섞이지 않도록 미리 조치를 취해 AI가 읽을 수 있는 형태로 만든다. 그것만으로도 머릿속에만 있던 지혜가 누구나 물어볼 수 있는 장소로 옮겨지기 시작한다.

AI에게 효과적인 것은 영리한 질문을 던지는 것보다 무엇을 먹이느냐(데이터를 제공하느냐)라고 생각한다. 깔끔하게 정리된 자사의 지혜를 건네주면, AI는 자사의 사정을 잘 아는 파트너가 된다. 화려함은 없다. 그래서 아무도 하지 않는다. 그 눈에 띄지 않는 밑준비야말로 효과가 있다.

결국 이것은 한 사람의 시간 단축에 관한 이야기가 아니다. 퇴사한 사람과 함께 사라졌어야 할 회사의 지혜를 누구나 물어볼 수 있는 장소에 남기는 이야기다. 당신의 직장에도 매번 수동으로 답변하고 있는 질문이 하나쯤은 있을 것이다. 우선은 그 하나를 적어 내려가는 것부터. NotebookLM으로 옮기는 것은 그다음이어도 좋다.

※ 체험기 풀 버전은 note에 공개되어 있습니다.

Discussion