당신의 AI 에이전트는 지난주 당신이 증명한 해결책보다 Google을 더 신뢰합니다

지식은 평면적이지 않습니다. 지식에는 주소록이 있으며, 가장 가까운 문이 먼저 열립니다.

당신의 환경에서 실제로 실행되고 작동했던 것이 당신이 기록한 것보다 낫습니다. 당신이 기록한 것이 팀원이 기억하는 것보다 낫습니다. 팀원이 기억하는 것이 검색 결과 최상단보다 낫습니다. 오픈 웹 (Open Web)은 당신이 가장 마지막에 두드리는 문이지, 첫 번째 문이 아닙니다.

대부분의 설정은 이것이 뒤집혀 있습니다. 에이전트는 웹 검색 (Web Search) 도구에 가장 먼저 손을 뻗고, 당신이 이미 증명한 작업은 나중에 생각할 일로 취급합니다. 당신은 시니어 개발자를 채용해 놓고 Stack Overflow만 가리키고 있는 셈입니다.

해결책은 더 똑똑한 프롬프트 (Prompt)가 아닙니다. 에이전트가 실제로 따르는 신뢰 순서 (Trust Order)입니다.

당신의 에이전트는 지난주 당신이 작동함을 증명한 해결책보다 Claude의 웹 검색 도구를 더 신뢰합니다. 도구가 틀렸기 때문이 아닙니다. 당신이 어디를 먼저 찾아봐야 할지 알려주지 않았기 때문입니다.

에이전트가 cron job을 설정하고, 벡터 스토어 (Vector Store)를 선택하고, 재시도 (Retry) 로직을 작성하는 것을 지켜보십시오. 에이전트는 특정 누구를 위해 작성된 것도 아닌 튜토리얼에서 나온 일반적인 베스트 프랙티스 (Best Practice)를 찾습니다. 당신의 새벽 3시 장애 상황을 견뎌낸, 검증된 버전은 당신의 리포지토리 (Repo) 안에 읽히지 않은 채 놓여 있습니다.

그것이 버그입니다. 모델의 문제가 아니라, 순서의 문제입니다.

당신이 Google에서 검색한 베스트 프랙티스는 얼어붙어 있습니다

오픈 웹에 있는 베스트 프랙티스는 누군가의 디버깅 (Debugging) 세션이 그대로 얼어붙어, 그것을 사실로 만들었던 맥락 (Context)이 제거된 상태입니다. 그것은 당신의 것이 아닌 환경에서 한 번 작동했을 뿐입니다. 당신이 직접 증명한 결과는 이미 당신의 환경, 데이터, 부하를 견뎌냈습니다. 하나는 레시피이고, 다른 하나는 당신이 이미 요리해낸 요리입니다.

이 부분이 현재의 조언들이 거꾸로 가고 있는 지점입니다.

맥락의 품질 (Context Quality)은 프롬프트보다 출력 품질 (Output Quality)을 더 잘 예측합니다. 약 만 번의 실행을 대상으로 한 연구 결과가 이를 뒷받침합니다.

그리고 팀 내에서 AI 코딩이 정체되는 가장 흔한 이유는 맥락 파편화 (Context Fragmentation)입니다. 존재하는 지식이 질서 없이 흩어져 있는 상태를 말합니다.

그래서 사람들은 반사적으로 CLAUDE.md에 더 많은 베스트 프랙티스를 들이붓습니다. 더 많은 규칙을 넣습니다. 더 크게 소리칩니다.

그것은 더 큰 서랍 안에 더 많은 얼어붙은 레시피를 채워 넣는 것뿐입니다. 순서를 고치는 것이 아니라, 순서를 묻어버리는 것입니다.

특별한 도구 없이 수행하는 다섯 가지 움직임

순서를 제대로 맞추기 위해 저의 설정(setup)이 필요하지는 않습니다. 다음의 다섯 가지가 필요합니다.

• 증명된 결과를 기록하세요. 장애 상황에서 살아남은 해결책은 에이전트가 읽을 수 있는 한 줄의 노트가 됩니다. 다시 불러올 수 없는 승리는 당신이 다시 구글링하게 될 승리일 뿐입니다.
• 컨텍스트 파일(context file)에 규칙뿐만 아니라 신뢰 순서(trust order)를 부여하세요. 무엇이 증명된 것인지, 무엇이 추측인지 표시하세요. 에이전트는 그것들이 서로 다르기 때문에 다르게 취급합니다.
• 조사(research)를 하기 전에 자신의 작업물을 먼저 확인하게 하세요. 루프(loop)의 최상단에 명령 하나를 추가하세요. 자신의 결과물을 우선시하고, 웹은 그것이 비어 있을 때만 사용하게 합니다.
• 출처의 순위를 명시적으로 매기세요. 실행되어 작동한 것, 그다음은 당신의 노트, 그다음은 팀 동료, 그다음은 공개된 웹(open web) 순입니다. 마지막 항목은 당신이 검증하기 전까지 신뢰할 수 없는 것으로 라벨을 붙이세요.
• 대중에게 묻기 전에 당신의 내부 관계자(inner circle)에게 물으세요. 당신의 정확한 문제를 해결했던 사람은 검색 결과 최상단보다 더 높은 순위에 있습니다. 그들에게 먼저 다가가세요.

내부 관계자(Inner Circle)는 그래프(Graph)입니다

최선의 관행(best practice)을 추천하는 것은 그래프(graph) 문제입니다. 텍스트 유사도가 아니라, 신뢰 근접도(trust proximity)의 문제입니다. 당신과 가장 가깝고 당신의 정확한 문제를 해결했던 사람과 저장소(repos)가 가장 시끄러운 낯선 사람보다 앞서 순위가 매겨집니다. 내부 관계자가 먼저, 그다음은 다음 단계의 고리(ring), 그다음은 공개된 웹 순입니다.

당신의 에이전트는 정보를 검색(retrieve)할 때마다 이미 그래프를 탐색하고 있습니다. 현재는 유사하게 읽히는 것에 따라 순위를 매깁니다. 업그레이드는 당신이 신뢰할 근거가 있는 것에 따라 순위를 매기는 것입니다.

증명된 결과는 당신이 이미 소유하고 있는 그래프입니다. 당신은 아직 에이전트에게 그 그래프를 탐색하라고 말하지 않았을 뿐입니다.

그러니 당신의 루프를 살펴보세요. 당신의 에이전트가 답변이 필요할 때, 가장 먼저 어느 문을 두드리나요?

저는 제 루프의 최상단에서 이 점검 과정을 실행합니다, 어떠한 조사 전의 확인 절차로서.

저는 실제 빌드 과정—AI 통합, cron 기반 자동화, 그리고 프로덕션 환경에서 고장 나는 부분들—에서 얻은 현장 노트(field notes)를 작성합니다. 2주마다 새로운 포스트가 올라옵니다. 이 글이 유용했다면, 에이전트 플레이북(the agent playbook)이 함께 다운로드할 수 있는 동반 자료입니다.