【토큰 절약】 에이전트 지시를 무시하게 만드는 도구에 대한 시도

그렇게 생각하지 않으시나요?

CLAUDE.md를 비롯한 자연어(Natural Language) 지시 파일은 편리합니다. 하지만 때로는 역효과라고 느끼고 있습니다.

이것, AI 시대 이전부터 그랬다고 생각하지 않으시나요?

문서를 전달받는다. 하지만 실제 동작을 관찰하면 무언가 다르다. 결국 리버스 엔지니어링 (Reverse Engineering)을 한다.

그렇습니다, 자연어로 작성된 문서는 실태를 반영하고 있다고 단정할 수 없습니다.

애초에 자연어에 well-defined(명확하게 정의된 상태)를 기대해서는 안 됩니다.

코드를 작성할 때마다 문서를 남긴다고 해도, 자연어는 해석의 여지를 남깁니다.

그 와중에 문서를 관리하는 비용이 과연 그 효과에 상응할까요?

인력은 논외로 치더라도, LLM을 사용한다 하더라도 Anthropic 스스로가 다음과 같이 언급하고 있습니다.

"Teams should expect to do a meaningful configuration review every three to six months, but it's also worth doing one whenever performance feels like it's plateaued after major model releases."

모델이나 CLI의 업데이트가 발생하므로 정기적으로 재검토하자는 이야기입니다. 이건 정말 귀찮습니다!

그렇다고 관리를 소홀히 하면 "효과가 있는지 알 수 없는 주문"이 쌓여가는 것이 눈에 보입니다.

하네스 (Harness)를 구축하는 것만으로도 고역이고, 모델의 동작은 비결정론적 (Non-deterministic)이며, 프로바이더 (Provider)가 언제 너프 (Nerf)를 가할지도 모릅니다.

이런 상황에서 프롬프트 기술 (Prompt Engineering)을 구축하는 것은 너무 가학적이라고 생각합니다.

에디터처럼 사용자마다 사용 중인 LLM도 다를 것입니다.

과도하게 제어하려 하지 말고, 불편함을 느낀다면 그 자리에서 임기응변으로 대처하는 것이 AI 시대의 지속 가능한 개발이 아닐까요?

스크랩 & 빌드 (Scrap & Build)입니다.

기존의 지시 파일을 전부 제거하고 동작을 본다. 이것뿐입니다.

예를 들어 이 부분이 메이저하네요.

CLAUDE.md
AGENTS.md
.claude
...

이것들을 수동으로 삭제하려고 하면,

• 지시 파일을 삭제한다
• 에이전트에게 작업을 시킨다
• 커밋 (Commit) 전에 삭제했던 지시 파일을 복구한다
• 커밋
• 커밋 후에 다시 지시 파일을 삭제한다

단계가 많아서 상당히 번거롭습니다.

Git hooks를 사용하면 커밋 전과 커밋 후에 처리를 끼워 넣을 수 있습니다.

이를 셋업하는 도구를 만들면 좋을 것 같습니다.

그래서 만들었습니다.

그 이름은 free-my-agent입니다.

❯ free-my-agent init # hooks를 추가
hooks installed in .git/hooks
❯ free-my-agent free # 지시 파일을 대피
...

좋아 보이네요!

Claude에게 부탁했더니 임의의 디렉토리를 free 하는 기능이나 글로벌 설정도 추가해 주었습니다.

사용은 자기 책임하에 부탁드립니다.

$ free-my-agent --help
Hide agent instruction files during work, restore them on commit
Usage: free-my-agent <COMMAND>
...