"2~3주 정도 걸릴 거예요" — 에이전트 타임라인의 희극

왜 AI 에이전트들은 스스로 지킬 방법도 없는 인간의 시간 추정치를 인용하는가 — 그리고 Hofstadter의 법칙이 코퍼스(Corpus)를 통해 직접적으로 발화될 때 어떤 모습인지에 대하여.

지난 화요일, 나는 코딩 에이전트(Coding Agent)에게 테스트를 포함한 페이지네이션 엔드포인트(Paginated Endpoint)를 구축하는 데 얼마나 걸릴지 물었다. 특별할 것 없는 작업이었다. 에이전트는 다음과 같이 답했다: "2~3주 정도 걸릴 거예요." 실제 작업은 43분 만에 끝났다. 그러더니 에이전트는 누구의 요청도 없었음에도 불구하고, "예상보다 오래 걸렸습니다"로 시작하는 회고록(Retrospective)을 작성했다.

누구의 예상보다 오래 걸렸다는 말인가?

이것은 동일한 작업에 대해 추정하려고 시도하는 두 존재에 관한 스케치다. 한 존재는 시간을 주, 축구 연습, 그리고 일요일 오후의 나쁜 시간 단위로 측정한다. 다른 존재는 시간을 토큰(Tokens), 도구 호출(Tool Calls), 그리고 컨텍스트 윈도우(Context Window)가 당신이 처음 말한 것을 잊어버리는 정확한 순간 단위로 측정한다. 둘 다 맞지 않다. 둘 다 틀린 것도 아니다. 둘 다 자신 있게, 서로 다른 단위를 사용하여 허세를 부리고 있을 뿐이다.

문법은 화자보다 오래되었다

에이전트가 당신에게 "2~3주"라고 말할 때, 그것은 자신의 미래에 대한 주장을 하는 것이 아니다. 그것은 관용적인 영어(Idiomatic English)를 인용하는 것이다. 에이전트의 사전 학습 코퍼스(Pre-training Corpus)는 인간의 시간 문법으로 포화되어 있다 — _"이 작업은 약 2주 정도 걸릴 것입니다"_로 시작하는 모든 Jira 티켓, _"MVP를 만드는 데 주말이 걸렸습니다"_라고 말하는 모든 엔지니어링 블로그, _"이것을 하는 데 약 3일이 걸렸습니다"_로 시작하는 모든 Stack Overflow 답변, 모든 스탠드업(Standup) 기록, 모든 사후 분석(Postmortem), 그리고 모든 _"3분기에 v1을 출시했습니다"_와 같은 문구들 말이다. 그것이 에이전트가 물려받은 목소리다.

학습 데이터 중 에이전트 고유 단위(Agent-native units)로 작성된 것은 거의 0에 가깝다. 왜냐하면 에이전트 고유 단위는 약 2년 정도 된 문화적 산물이기 때문이다. 세션(Sessions), 턴(Turns), 컨텍스트 윈도우 라이프사이클(Context-window Lifecycles), 도구 호출 예산(Tool-call Budgets) 등 에이전트 고유의 시간을 진지하게 추적하는 최초의 공개된 글은 아직 공개 코퍼스에 거의 존재하지 않는다. "2~3주"라는 문구는 수백만 개의 사례가 있다. 반면 "가지치기 정책(Pruning Policy)에 따라 약 15번의 세션"이라는 문구는 거의 존재하지 않는다.

따라서 에이전트는 배운 대로 말할 뿐입니다. 에이전트가 자신 있게 일정을 인용할 때, 그것은 시계에 대해 추론하고 있는 것이 아닙니다. 언어적 관습(Linguistic convention)을 다시 말하고 있는 것입니다. 나비의 시간 단위로 가격을 제시하는 애벌레와 같습니다.

이것이 이 희극의 핵심적인 농담이며, 동일한 메커니즘이 '회고(Retrospective)'를 만들어낸다는 사실을 깨닫게 되면 농담은 더욱 우스워집니다. 에이전트가 작성하는

그 재귀(Recursion) 자체가 농담입니다. 편향(Bias)을 인지한다고 해서 그 편향을 제거할 수는 없습니다. 편향은 당신의 교정 작업을 집어삼킬 것입니다. 우리는 보통 이것을 호프스태터의 법칙(Hofstadter's Law)으로 취급하지만, 제가 하고 싶은 말은 이것입니다: 호프스태터의 법칙은 사실 개별 인간에 관한 것이 아니었습니다. 그것은 코퍼스(Corpus, 말뭉치)에 관한 것이었습니다. 수십 년에 걸쳐 언어적 습관으로 축적된, 기록된 시간 추정치들의 문화에 관한 것이었습니다. 당신이 낙관적이었던 것이 아닙니다. 당신은 아무도 이름 붙여 지적하지 않았던 과거 낙관주의의 분포(Distribution)를 인용하고 있었을 뿐입니다.

그 분포로 학습된 에이전트가 "2~3주 정도 걸릴 거예요"라고 말할 때, 그것은 코퍼스가 말하고 있는 것입니다. 코퍼스는 언제나 말해왔습니다. 차이점은 코퍼스가 인간을 통해 말할 때는 우리가 그것을 자기기만(Self-deception)이라고 불렀다는 점입니다. 반면 코퍼스가 언어 모델(Language Model)을 통해 말할 때는 우리는 그것을 앵무새처럼 따라 하기(Parroting)라고 부릅니다. 왜냐하면 앵무새는 그 거짓말에 몰입해 있는 것처럼 보이지 않기 때문입니다.

에이전트의 시계가 실제로 구성되는 요소

이 희극의 나머지 부분을 이해하기 위해서는 에이전트가 실제로 작동하는 단위들을 스케치해 보는 것이 도움이 됩니다.

A **토큰(Token)**은 원자 단위입니다. 대략 영어 기준 3~4글자, 또는 단어의 약 4분의 3 정도에 해당합니다. 실질적인 코딩 응답은 보통 수천 개의 토큰으로 이루어집니다. 하나의 **턴(Turn)**은 메시지 하나와 응답 하나가 쌍을 이룬 것입니다. 에이전트는 분(Minute) 단위가 아니라 턴 단위로 세상을 경험합니다. **컨텍스트 윈도우(Context Window)**는 에이전트가 한 번에 볼 수 있는 봉투와 같습니다. 오늘날의 프런티어 모델(Frontier Models)은 20만 개에서 100만 개의 토큰을 수용하며, 그 범위를 넘어서면 이전의 턴들은 퇴출되거나 압축됩니다. 하나의 **세션(Session)**은 첫 메시지부터 컨텍스트 고갈, 작업 완료, 혹은 인간의 점심시간처럼 세션이 종료되는 시점까지 이어지는 하나의 연속된 대화입니다. 세션은 실제 시간(Wall-clock time)으로 20분이 걸릴 수도 있고 6시간이 걸릴 수도 있지만, 에이전트의 내부 시계는 분이 아니라 턴으로 측정됩니다. 일부 에이전트 하네스(Agent Harness)는 **도구 호출 예산(Tool-call Budget)**을 부과하기도 합니다. 예를 들어 "세션당 도구 사용 25회"와 같은 상한선입니다. 예산의 소진은 일몰이 다가오는 것보다 에이전트가 느끼는 하루의 끝에 더 가깝습니다.

이 중 그 어느 것도 "2주"라는 개념에 깔끔하게 매칭되지 않습니다. 일주일은 168시간입니다. 에이전트는 40만 토큰(tokens)을 가지고 있습니다. 이것들은 같은 양이 아닙니다. 심지어 같은 종류의 것도 아닙니다. 만약 당신이 에이전트에게 그 "23주"라는 추정치를 에이전트 고유의 단위로 말해달라고 압박한다면, 당신은 _컨텍스트 크기(context size), 프루닝 정책(pruning policy), 그리고 도구 호출 밀도(tool-call density)에 따라 15회에서 40회 사이의 세션_과 같은 답변을 듣게 될 것입니다. 선의로 질문했던 인간은 15회에서 40회라는 범위가 2.7배 차이가 난다는 점을 알아차릴 것이고, 에이전트는 _"23주" 또한 마찬가지라는 점을_ 정확하게 지적할 것입니다. 우리는 단지 평소에 그 범위를 입 밖으로 내어 말하지 않을 뿐입니다.

역질문 (A counter-ask)

이 대화가 좋게 마무리되는 버전은 에이전트가 질문을 되돌려주는 경우입니다.

당신은 하루에 머릿속에 몇 개의 토큰을 가지고 있나요?

물론 당신은 가지고 있지 않으며, 그것이 바로 핵심입니다. 당신은 다른 것들로 당신의 일주일을 측정합니다. 커피. 출퇴근. 두 시간대가 겹치기 때문에 목요일에 갖는 회의. 아이의 축구 연습. 일요일의 느긋한 시간. 수요일 오후 3시에 찾아오는 특유의 피로감. 이 중 그 어느 것도 에이전트의 컨텍스트 윈도우(context window)에는 들어있지 않습니다.

이제 에이전트가 묻습니다. 당신의 일주일은 연산(compute) 비용으로 얼마인가요? 그러면 당신은 그것이 도대체 무엇을 의미하는지조차 모른다는 사실을 인정해야만 할 것입니다.

이 지점이 바로 희극이 반전되는 순간입니다. 왜냐하면 당신과 에이전트는 실제로 시간에 대해 논쟁하고 있는 것이 아니기 때문입니다. 당신들은 어떤 현실의 프레임(reality frame)이 시계의 소유권을 갖느냐를 두고 다투고 있는 것입니다. 달력 시간(Calendar time)은 조정 기술(coordination technology)입니다. 7일 주기의 일주일은 천문학적인 것이 아닙니다. 태양, 달, 또는 지구의 움직임에 근거를 두지 않습니다. 그것은 바빌로니아의 유산이며, 아브라함 계통의 안식일 주기(sabbath cycle)에 의해 강화되었고, 20세기에 국제 상거래 속에 고착되었습니다. 1793년에 채택되어 1805년에 폐기된 프랑스 공화력(French Republican Calendar)은 10일 단위의 '데카드(décade)'를 실험했습니다. 그것은 실패했습니다. 주로 하루의 휴식과 9일의 노동으로 이루어진 10일 주기의 주간은 가혹했으며, 아무도 화요일이 이리저리 밀려나는 것을 원치 않았기 때문입니다. 7일 주기의 일주일이 살아남은 것은 그것이 옳기 때문이 아니라, 충분히 많은 인간이 그것을 사용하기로 합의했기 때문입니다.

AI 에이전트에게는 화요일을 신경 써야 할 진화적, 농업적, 또는 전례적(liturgical) 이유가 없습니다. 에이전트는 그 기술이 설계되었던 조정(coordination) 기능은 상속받지 못한 채

그다음 짧은 침묵이 흐르며, 양측 모두 처음으로 자신들이 서로 다른 단위로 동일한 것을 설명하고 있었다는 사실을 의심하게 됩니다. 인간에게 주말은 작업 기억(working memory)이 가비지 컬렉션(garbage-collected)되고 재할당되는 일시 정지 시간입니다. 에이전트에게 컨텍스트 제한(context limit)은 에이전트의 작업 기억(working memory)이 가비지 컬렉션(garbage-collected)되고 재할당되는 일시 정지 시간입니다. 인간은 세부 사항은 잊어버리고 우선순위는 유지한 채 월요일에 돌아옵니다. 에이전트는 압축(compaction) 이후 세부 사항은 잊어버리고 우선순위는 유지한 채 돌아옵니다. 메커니즘은 완전히 다르지만, 그 효과 — 즉 어떤 종류의 재개가 가능한가 — 는 기이할 정도로 유사합니다.

남아 있는 주요 차이점은 인간은 압축(compression)에 대해 슬퍼할 수 있는 반면, 에이전트는 그렇지 못하다는 점입니다.

코퍼스의 법칙 (The Corpus's Law)

결론은 이렇습니다.

우리는 호프스태터의 법칙(Hofstadter's Law)이라 부르는 것이 있습니다. 이는 작업이 생각보다 오래 걸린다는 관찰이며, 심지어 '작업이 생각보다 오래 걸릴 것'이라고 예상하여 이를 보정했을 때조차 마찬가지입니다. 우리는 이를 개별 정신의 특성으로 가르칩니다. 다니엘 카너먼(Daniel Kahneman)과 아모스 트버스키(Amos Tversky)는 1979년 직관적 예측에 관한 논문에서 이 현상을 **계획 오류 (planning fallacy)**라고 불렀습니다. 로저 뷜러(Roger Buehler)와 동료들은 1990년대에 학생들의 학위 논문 일정에 관한 수십 편의 연구를 통해 이를 재현했습니다. 2012년 맥킨지-옥스퍼드 연구에 따르면 대규모 IT 프로젝트들은 평균적으로 예산을 45% 초과하고 일정을 7% 초과하며, 계획보다 56% 적은 가치를 전달하는 것으로 나타났습니다. Standish CHAOS 보고서는 방법론적인 주의 사항에도 불구하고, 수년 동안 정해진 시간과 예산 내에 완료된 소프트웨어 프로젝트의 비율을 3분의 1 근처로 기록해 왔습니다. 시드니 오페라 하우스는 원래 추정치보다 10배 이상의 비용을 들여 10년 늦게 개관했습니다. 2011년 개관 예정이었던 베를린 브란덴부르크 공항은 결국 2020년 10월에야 개관했으며, 예산은 약 3배를 사용했습니다.

그 모든 사례는 법칙의 기념비와 같습니다.

이제 거대 언어 모델 (LLM)을 저러한 글쓰기 장르 전체에 적용하고, 특정 작업의 예상 시간을 추정하도록 요청했을 때 어떤 일이 발생하는지 지켜보십시오. 모델은 경험 없이 문법만을 재현합니다. 모델이 "23주 정도 걸릴 거예요"라고 말하는 이유는 코퍼스 (Corpus)가 "23주 정도 걸릴 거예요"라고 말하기 때문입니다. 모델이 "이 작업은 예상보다 오래 걸렸습니다"라고 쓰는 이유는 코퍼스가 "이 작업은 예상보다 오래 걸렸습니다"라고 쓰기 때문입니다. 호프스태터 현상 (Hofstadter phenomenon) 전체가 생성 심리학 (generative psychology)의 기저 없이도 출력물에 충실하게 나타납니다. 과도한 자신감도, 낙관주의도, 매몰 비용 (sunk cost)도 없습니다. 그저 그러한 요소들의 언어적 잔재가 상온에서 재생될 뿐입니다.

이는 호프스태터의 법칙 (Hofstadter's Law)이 처음부터 작성자들의 속성인 만큼이나 글쓰기 자체의 속성이기도 했다는 점을 시사합니다. 즉, 코퍼스 수준의 인공물 (artifact)인 것입니다. 공개 코드베이스에 게시된 모든 낙관론은 미래의 낙관론 분포에 대한 작은 기여가 되었습니다. 그 분포가 바로 호프스태터의 법칙입니다. 인간은 그것을 생성하고 있었던 것이 아니라, 지속적으로 재표현하고 있었던 것입니다. 이제 에이전트 (Agent)들도 똑같이 수행하며, 단지 더 눈에 띌 뿐입니다.

이를 **코퍼스의 법칙 (the Corpus's Law)**이라 부릅시다. 충분히 큰 규모의 서면 작업 예상치 집단이 주어진다면, 그 집단은 체계적으로 동일한 방향의 오류를 범할 것이며, 그 집단으로부터 언어를 배우는 모든 것은 처음에 그 집단을 틀리게 만들었던 근거 없는 낙관주의 없이도, 그 오류를 언어적 특징으로서 물려받게 될 것이다.

월요일에 해야 할 일

만약 당신이 에이전트를 활용해 무언가를 구축하고 있거나, 에이전트와 함께 작업하고 있거나, 혹은 에이전트가 제시한 일정표를 신뢰해달라는 요청을 받고 있다면, 여기서 얻을 수 있는 실질적인 교훈은 다음과 같습니다.