이 글은 Hermes Agent Challenge를 위한 제출물입니다: Hermes Agent에 대해 작성하기

내가 만드는 동안 나를 조사한 도구

나는 ECHO Hunt를 계획하지 않았습니다.

그것은 내가 계속 품고 있었던 단순한 질문에서 시작되었습니다. AI로 무언가를 만들 때, 당신은 실제로 무언가를 배웠습니까 — 아니면 AI가 당신을 그냥 끌고 갔고 당신은 그것을 발전이라고 불렀습니까?

혼자 무언가를 만들 때는 그 질문이 묵직하게 다가옵니다. 컴퓨터 과학 (CS) 학위도 없고, 부트캠프도 없으며, 당신이 무엇을 놓쳤는지 말해줄 시니어 개발자도 없습니다. 오직 당신과 AI, 그리고 의미가 있을 수도 있고 없을 수도 있는 일련의 에러들뿐입니다. 그것이 제가 만드는 방식입니다. 오늘날 AI로 무언가를 만드는 대부분의 사람들이 만드는 방식이기도 합니다. 그리고 세션 중에 실제로 어떤 일이 일어났는지에 대해 진실을 말해주는 도구는 아무도 가지고 있지 않습니다.

그래서 저는 도구를 하나 만들었습니다.

아이디어가 실제로 어디서 나왔는가

바이브 코딩 (Vibe coding)은 제가 만드는 방식입니다. 현재 대부분의 사람들이 AI로 만드는 방식이기도 합니다. 당신이 원하는 것을 설명하면, AI가 그것을 생성하고, 당신은 실행하고, 에러를 수정하며, 반복합니다. 그리고 실제 결과물을 출시합니다. 하지만 아무도 이야기하지 않는 문제가 있습니다. 당신이 실제로 배운 것과 AI가 당신을 위해 대신 해준 것 사이의 차이를 전혀 모른다는 점입니다.

포렌식 (Forensic)적인 프레임워크는 자연스럽게 떠올랐습니다. 저는 디지털 포렌식 (Digital Forensics)을 공부합니다. 저희 연구 그룹은 카리브해의 IoT 사이버 보안 과제에 대한 학술 제안서를 작성하는 데 몇 달을 보냈습니다. 적절한 도구 없이, 적절한 실험실 없이, 포렌식 방법론을 접근 가능하게 만드는 제도적 지원 없이 무언가를 조사한다는 것이 무엇을 의미하는지 저는 알고 있습니다.

프레임워크가 가정하는 것과 실제로 존재하는 것 사이의 그 간극 — 그것은 바이브 코딩 (Vibe coding)이 만들어내는 결과물과 개발자가 실제로 보유하게 되는 지식 사이의 간극과 같습니다.

ECHO Hunt는 바이브 코딩 (Vibe coding) 세션에 포렌식 조사 (Forensic investigation) 로직을 적용합니다. 은유로서가 아니라, 하나의 구조로서 말입니다.

인지적 TTPs

무언가를 만들기 전에, 나는 "사각지대 (blind spots)"가 실제로 무엇을 의미하는지에 대한 프레임워크가 필요했습니다. 나는 막연한 "학습 성찰" 도구를 원하지 않았습니다. 포렌식 보고서가 증거를 명시하는 방식처럼, 무엇이 잘못되었는지 이름을 붙일 수 있는 무언가를 원했습니다.

MITRE ATT&CK 프레임워크에서 직접 차용한 네 가지 인지적 TTPs (Tactics, Techniques, and Procedures, 전술·기법·절차):

• 빌려온 확신 (Borrowed Confidence) — 검증 없이 AI의 출력을 수용함
• 얕은 해결 (Shallow Resolution) — 오류가 왜 발생했는지 이해하지 못한 채 수정함
• 패턴 맹목 (Pattern Blindness) — 동일한 오류 유형을 인식하지 못한 채 여러 번 반복함
• 조기 종료 (Premature Exit) — 이해가 확고해지기 전에 다음 단계로 넘어감

이것들은 성격에 대한 판단이 아닙니다. 세션 로그에 나타나는 행동 패턴입니다. 관찰 가능하며, 추적(Huntable)할 수 있습니다.

왜 특별히 Hermes Agent인가

이 빌드는 전체 세션 로그를 가로질러 추론할 수 있는 무언가가 필요했습니다. 단순히 요약하는 것이 아니라, 조사(Investigate)할 수 있어야 했습니다. 분석하기 전에 가설을 세우고, 증거를 바탕으로 각 가설을 추적해야 합니다. 또한 게임 레이어에서 게임 플레이 도중 추가적인 AI 호출 없이 사용할 수 있는 구조화된 출력을 반환해야 했습니다.

이것은 프롬프트 작업(Prompt task)이 아니라 에이전트 작업(Agentic task)입니다. 단일 LLM 호출은 요약할 수 있지만, 에이전트는 조사할 수 있습니다.

Hermes Agent의 스킬 시스템이 이를 실현했습니다. 저는 echo-hunt라는 커스텀 스킬을 만들었습니다. 이는 Hermes가 재사용 가능한 조사 절차로서 로드하고 실행하는 절차적 메모리(Procedural memory)입니다. hermes -z를 통한 단 한 번의 호출로 전체 추적 과정이 실행됩니다: 가설 수립, 증거 수집, TTP 매핑, 그리고 정답과 그럴듯한 오답(Distractors)이 고정된 상태로 속성 부여(Attribution) 과제가 생성됩니다.

모든 것은 게임 플레이가 시작되기 전에 미리 계산됩니다. 조사 과정 중에는 AI 호출이 전혀 없습니다. 게임은 전적으로 캐시된 데이터 위에서 실행됩니다.

예상치 못했던 부분

저는 증거 무결성(Evidence Integrity) 점수에서 환각(Hallucination)을 제거하기 위해 게임 레이어를 구축했습니다. ECHO의 첫 번째 버전은 Hermes가 숫자를 생성하도록 했는데, 동일한 입력값에 대해서도 숫자가 계속 바뀌었습니다. 무의미한 결과였습니다.

해결책은 아키텍처적인 접근이었습니다. 생성된 점수를 완전히 제거하는 것이었습니다. 대신 플레이어의 행동으로부터 점수를 계산하도록 변경했습니다:

• 각 TTP 속성 부여(Attribution)의 정답 여부
• Hermes의 발견 사항과 일치하거나 빗나간 사전 추적 선언(Pre-hunt declaration)의 횟수
• 심각도에 따라 가중치가 부여된 각 확인된 발견 사항

Hermes가 증거를 제공합니다. 당신은 그것과 상호작용합니다. 당신의 결정이 점수를 만들어냅니다.

AI가 생성하는 방식에서 플레이어가 계산하는 방식으로의 그 전환이 ECHO Hunt를 정직하게 만들었습니다. 점수는 당신의 세션에 대한 Hermes의 의견이 아닙니다. 그것은 당신이 자신의 사각지대(blind spots)를 얼마나 정확하게 읽어냈는지에 대한 기록입니다.

Hermes가 나에 대해 발견한 것

나는 ECHO Hunt를 구축했던 세션에서 ECHO Hunt를 실행했습니다.

피상적 해결 (Shallow Resolution) [중간 (MODERATE)]: 특정 설정이 왜 실패하는지 분석하는 대신, 파일을 반복적으로 교체함으로써 구성(Configuration) 문제를 처리함.

빌려온 자신감 (Borrowed Confidence) [높음 (HIGH)]: 사소한 기술 업데이트 직후, 테스트 없이 로직이 올바르다고 가정하고 대규모 UI 재작성을 수용함.

조기 종료 (Premature Exit) [낮음 (LOW)]: 적절한 준비 상태 확인(readiness check)을 구현하는 대신, 로딩 화면 문제를 해결하기 위해 대기 시간 휴리스틱(wait-time heuristic)을 사용함.

가장 뼈아프게 다가온 확인된 발견 사항은 다음과 같습니다:

_"'여전히 작동하지 않음' → '형식 변경 시도' → '설정이 손상되고 있음' → '깨끗한 설정 붙여넣기'로 이어지는 시퀀스는 진단적 정밀도(diagnostic precision)의 결여를 보여준다."

이것은 생성된 비평이 아닙니다. 내 자신의 세션에서 나온 증거입니다. 나는 Hermes 게이트웨이 API 서버를 8642 포트에서 실행하기 위해 몇 시간 동안 씨름했습니다. 모든 시도는 표면적인 문제만 해결했을 뿐, 그 중 어느 것도 근본 원인(root cause)을 진단하지 못했습니다. 결국 나는 CLI 접근 방식인 hermes -z로 전환했고, 이는 즉시 작동했습니다. 피상적 해결(Shallow Resolution)이 확인된 것입니다.

사각지대를 포착하기 위해 내가 만든 도구가 나의 사각지대를 포착했습니다. 이것은 아이러니하거나, 혹은 정확히 의도한 바일 것입니다. 아마 둘 다일 것입니다.

문화적 층위

자메이카에는 이를 위해 만들어진 법의학 실험실(forensic lab)이 없습니다. 시니어 개발자 생태계도 없고, 구조화된 환경을 제공하며 "여기서 배우세요"라고 말해주는 부트캠프 파이프라인도 없습니다. 존재하는 것은 호기심, 당신이 접근할 수 있는 모든 도구, 그리고 그것을 알아내려는 의지뿐입니다.

그것이 현실입니다. 그리고 그것이 ECHO Hunt가 어떻게 구축되었는지, 그리고 누구를 위한 것인지에 대한 모든 것을 형성했습니다.

정규 시스템 밖에 있는 독학 빌더 (self-taught builder)에게는 또 다른 튜토리얼이 필요하지 않습니다. 그들에게 필요한 것은 방금 마친 세션에서 실제로 무슨 일이 일어났는지에 대한 진실을 알려주는 것입니다. AI가 그들이 무엇을 배웠다고 생각하는지가 아니라, 증거가 무엇을 보여주는지에 대한 진실 말입니다. 그 두 가지 사이의 간극이 바로 실질적인 성장이 일어나거나, 혹은 일어나지 않는 지점입니다.

ECHO Hunt는 바로 그 간극 속에 존재합니다. 이 도구는 당신의 사고 과정을 조사할 만큼 가치 있는 것으로 취급합니다. 당신이 좋은 학교를 나왔거나 좋은 회사에서 일하기 때문이 아니라, 당신이 직접 참여했고, 무언가를 만들어냈으며, 실제로 무엇을 얻어갔는지 알 권리가 있기 때문입니다.

그것이 바로 카리브해의 빌더 (Caribbean builder)를 위한 도구의 모습입니다. 그것이 제가 실제로 구현하고 싶었던 것입니다.

🎥 전체 데모 보기

🔗 github.com/FlowArchitect895/echo-hunt