저는 하루 종일 AI 에이전트(Codex, Claude, Cursor)를 지시합니다. 이들은 제가 말하는 사실을 기억하는 데는 능숙해졌지만, 제가 실제로 어떻게 일하는지는 여전히 이해하지 못합니다. 즉, 제가 무엇을 거절하는지, 저에게 '완료(done)'란 무엇을 의미하는지, 그리고 제가 설명 없이 내리는 판단(judgment calls)들이 무엇인지 말입니다. 그 부분은 제가 어디에도 적어둔 적이 없었습니다. 그래서 저 자신을 대상으로 실험을 진행했습니다. 9개월간의 로컬 세션 로그, 즉 1,656개의 세션과 약 300만 토큰을 추출하여 무엇이 드러날지 확인해 보았습니다. (Codex와 Cursor가 가장 오래되었고 Claude는 최근의 기록이라, Claude의 30일 로그 보관 정책에 치우치지 않았습니다.) 코딩 로그의 95%는 노이즈입니다. 도구 출력값, 파일 덤프, 에이전트가 스스로에게 하는 말 같은 것들 말이죠. 그래서 제가 실제로 입력한 메시지만 남기고, 중복을 제거하며, 일회성 순간이 아닌 여러 별개의 세션에 걸쳐 나타나는 패턴만을 유지했습니다. 결과로 나온 것은 코드에 관한 것이 아니었습니다. 그것은 판단(judgment)에 관한 것이었습니다:

• 저는 일반적인 UI를 보는 즉시 거절하며, 높은 대비와 좁은 간격을 선호합니다.
• 저는 레퍼런스 우선(reference-first) 방식으로 일합니다. 무언가를 설명하기보다 마음에 드는 것을 복사합니다.
• 저는 다섯 가지 옵션을 받는 것을 싫어합니다. 하나를 골라서 보여주세요.
• 저는 서론 없이, 과장 없이 짧게 쓰며, 항상 문제나 메커니즘부터 시작합니다.

이 중 그 어떤 것도 제 노트나 CLAUDE.md에 적혀 있지 않았습니다. 저는 한 번도 적은 적이 없었습니다. 그것은 그저 제 작업 방식 속에 자리 잡고 있었을 뿐이며, 저는 한 번도 들여다본 적이 없었습니다. 그리고 그것이 핵심입니다. 제 에이전트가 이것을 읽고 나면, 일반적인 기본값을 제공하는 것을 멈추고 제가 내릴 법한 판단을 하기 시작합니다. 매 세션마다 저 자신을 다시 설명할 필요가 줄어들고, 워크플로우는 빨라집니다.

사람들이 항상 반박할 만한 두 가지 질문에 대해 미리 답해두겠습니다. "왜 그냥 모델에게 로그를 요약해달라고 하지 않나요?" 9개월 치를 하나의 컨텍스트 윈도우(context window)에 담을 수는 없으며, 시도한다 하더라도 그 95%의 노이즈를 처리하는 데 대부분을 써버리게 될 것입니다. 이것은 요약이 아닙니다. 당신의 언어만을 남기고, 얼마나 많은 독립적인 세션에서 확인되었는지에 따라 특성을 순위 매깁니다. 한 번의 통과(pass)는 추측일 뿐입니다. 세션 간의 상호 확인(corroboration)이 바로 신호(signal)입니다. "GPT/Claude에 이미 메모리 기능이 있지 않나요?" 메모리는 당신이 말해준 것, 즉 큐레이션되어 하나의 도구에 고정된 것입니다.

이것은 Codex, Claude, Cursor 전반에 걸친 로우 로그 (raw logs)에서 채굴된 것으로, 당신이 입 밖으로 내뱉지 않았던 내용들을 당신이 소유하고 읽을 수 있는 하나의 파일로 통합한 것입니다. 제가 받은 가장 날카로운 반박은 다음과 같았습니다: 진정한 최종 단계 (endgame)는 당신처럼 행동하는 거울이 아니라, 당신을 정직하게 유지시키고, 당신의 모순을 잡아내며, 당신이 스스로를 속일 때 반박해 주는 카운터웨이트 (counterweight)라는 것입니다. 저는 그것이 옳다고 생각하며, 이것이 제가 다음에 나아가고자 하는 방향입니다. 여러분도 직접 시도해 보고 솔직한 피드백을 주시길 바랍니다: https://github.com/ohad6k/ditto 한 가지 솔직하게 주의를 드리자면, 첫 번째 마이닝 (mine) 과정에서 당신의 히스토리 중 큰 부분을 읽어들이기 때문에 초기에 상당한 양의 토큰 (tokens)을 소모합니다. 저는 재실행 시 비용이 거의 들지 않도록 토큰 효율적 (token-efficient)인 방식 (bounded, cached, incremental)을 만들기 위해 작업 중입니다. 실행하시기 전에 이 점을 미리 알려드리고 싶었습니다. /u/BiosRios가 r/OpenAI에 제출함 [link] [comments]