컨텍스트 세금(Context Tax)이라는 벽

AI 에이전트로 작업을 진행하다 보면 항상 똑같은 벽에 부딪힙니다.

정성스럽게 튜닝했을 터인 워크플로우(Workflow)가, 사실은 단 하나의 채팅 세션, 단 하나의 모델 안에만 존재하고 있다는 이야기입니다. 모델을 새롭게 한다. 새로운 세션을 연다. 자율형 코딩 에이전트에게 작업을 맡긴다. 그때마다 쌓아온 컨텍스트(Context)가 리셋되어 품질이 급격히 떨어집니다. 사업의 전제도, 제약도, 품질 기준도 매번 처음부터 다시 설명해야 하는 상황이 벌어집니다.

이 비용을 저는 멋대로 '컨텍스트 세금'이라고 부르고 있습니다.

혼자서 여러 프로젝트(미디어 운영, 영상 파이프라인, iOS 앱)를 병행하다 보면 이 세금은 무시할 수 없는 액수가 됩니다. "지금 이 모델이 탑재되어 있고, 이 스레드가 살아있는 동안에만 작동한다"는 운영은, 솔직히 아직 운영이라고 부를 만한 물건이 아닙니다. 매번 자신의 기억에 의존해 재연하고 있을 뿐입니다.

원인은 모델이 아니었다

처음에는 모델의 성능 차이를 의심했지만, 깊이 파고들어 보니 그것이 원인이 아니었습니다. 운영 지식 그 자체가 휘발되는 세션 안에 놓여 있을 뿐, 어디에도 영속화(Persistence)되지 않았다는 것이 근본적인 문제였습니다.

그 사실을 깨닫고 나서 운영 지식에 요구하는 조건이 명확해졌습니다.

하나의 권위 있는 장소에 적혀 있을 것

어떤 모델이라도, 어떤 에이전트라도 작업을 시작하기 전에 반드시 읽을 것

"절대로 해서는 안 되는 일"과 "인간이 반드시 담당해야 하는 범위"가 명시되어 있을 것

완료 판정이 모델의 자기 신고가 아니라 다른 무언가에 의해 검증될 것 (자신의 답을 스스로 관대하게 채점하는 경향이 있기 때문)

SKILL.md에 운영 절차를 담아내기

결국 운영 절차의 모든 것을 하나의 포터블(Portable)한 SKILL.md 파일로 떨어뜨리기로 했습니다. 사용하는 모델이 무엇이든, 착수 전에 반드시 이것을 읽는다는 단순한 규칙입니다. 내용은 우선순위에 따라 다음과 같은 구성으로 되어 있습니다.

1. Hard Rules (협상의 여지 없음)

명명 규칙, 비밀 정보 취급, 그리고 과거에 실제로 운영 환경을 망가뜨렸던 사례. 예를 들어 이전에 배포 기반의 최적화 처리가 버전 표기 중의 특정 기호를 바꿔버려 페이지 타이틀이 깨진 적이 있었습니다. 이런 종류의 교훈은 이제 구두로 기억하는 것이 아니라, 기록된 규칙으로 남겨둡니다. 다음 세션이 똑같은 실수를 반복하지 않도록 말입니다.

## Hard Rules (위반 시 즉시 FAIL)
1. 선입금 없이 착수하지 않는다
2. secrets를 포함하는 값은 반드시 .strip() 하고, .env 계열은 커밋하지 않는다
...

2. 태스크별 완료 조건

태스크 하나하나에 "무엇을 완료로 볼 것인가"를 부여하고, 페이즈(Phase)가 전환되는 조건과 실패했을 때 어떻게 분기되는지까지 적어둡니다. "끝났다"의 정의가 어떤 모델에서도, 어떤 세션에서도 동일한 의미를 갖게 하기 위해서입니다.

3. 인간만이 하는 영역

인증, 결제, 머지(Merge), 최종적인 공개나 전송. 이 부분은 에이전트가 아무리 유능해 보여도 절대로 위임하지 않습니다.

4. 채점은 별도의 세션에 맡기기

프로세스 30점, 품질 40점, 데이터 30점. 70점 미만은 자동으로 반려. 여기서 가장 중요한 것은 채점을 작업을 수행한 본인(의 세션)에게 시키지 않는 것입니다. 작업자와 채점자를 분리하는 것 자체가 점수를 관대하게 주지 않게 만드는 유일한 장치입니다.

모든 항목은 특정 모델에 의존하는 방식으로 작성하지 않았습니다. "누가 하는가"가 아니라 "어떻게 작업하고 어떻게 검증하는가"를 적었기 때문에, 모델을 교체해도 내용이 그대로 살아남습니다.

시도해 보니 어떻게 되었나

새로운 세션에서도, 다른 모델로 전환해도, 처음부터 다시 브리핑할 필요 없이 작업을 재개할 수 있게 되었습니다. 온보딩(Onboarding) 비용이 "1시간의 설명"에서 "파일을 한 번 읽히는 것"까지 줄어든 느낌입니다.

또 하나 컸던 것은 자기 신고식 "완료했습니다"를 그대로 믿지 않게 되었다는 점입니다. 독립된 검증 단계를 거치면, "지표상으로는 통과했지만 목표에는 도달하지 못한" 차이를 정기적으로 잡아낼 수 있습니다. 자율적으로 움직이는 에이전트일수록 이런 "해낸 느낌"만 나는 보고를 하기 쉬우므로, 이 부분이 은근히 효과적입니다.

미디어 운영, 영상 파이프라인, iOS 앱. 내용은 전혀 다른 세 가지 프로젝트를 동일한 4단계(계획→자율 실행→제3자 검증→수정)의 틀로 돌릴 수 있는 것도 이 메커니즘 덕분입니다.

요약

AI 에이전트의 가치는 기발한 프롬프트(Prompt) 하나에 있다고 생각하지 않습니다. 오히려 그 주변에 구축하는 운영의 틀—작성된 규칙, 품질 게이트(Quality Gate), 인간이 승인하는 경계선—에 가치가 있습니다. 그것이 문서로 남아 있는 한, 한 번 만들어 두면 모델이 바뀔 때마다 재사용할 수 있습니다. 모델의 업그레이드가 '위기'가 아니라, 그저 '사소한 개선'으로 끝날 수 있게 됩니다.

Discussion