AI 에이전트를 위한 오픈 소스 "CI"를 구축했습니다. 그리고 제가 오픈 소스를 선택한 이유입니다.

안녕하세요, 제 이름은 Max입니다. 저는 AI 에이전트 워크플로우 (workflows)에 일반적인 코드가 수십 년 동안 가져왔던 기능인 스냅샷 테스트 (snapshot tests)와 CI를 제공하는 오픈 소스 도구인 Reelier를 구축했습니다.

여기에 제가 느꼈던 갈증이 있습니다.

그리고 가끔씩은 조금 다르게 수행하기도 했지만, 아무것도 이를 잡아내지 못했습니다. 그 두 번째 부분이 무서운 점입니다.

왜 오픈 소스로 만들었는가

현재 에이전트 도구 (Agent tooling) 시장은 범람하고 있습니다. 새로운 폐쇄형 도구들이 매일 출시되고 있으며, 그들 대부분은 여러분의 워크플로우와 키 (keys)를 블랙박스 (black box)에 맡기라고 요구합니다.

오픈 소스는 이러한 소음 속에서 작은 도구가 신뢰를 얻는 방법입니다. 도구가 정확히 무엇을 하는지 읽을 수 있고, 자신의 머신에서 실행할 수 있으며, 데이터를 일반 파일로 유지할 수 있기 때문입니다.

성공적으로 작동한 하나의 에이전트 실행 (agent run)을 기록합니다.
Reelier는 이를 읽기 가능한 SKILL.md 파일로 컴파일합니다. 이는 타입이 지정된 입력 (typed inputs), 타입이 지정된 출력 (typed outputs), 그리고 모든 단계에 대한 어설션 (assertion)이 포함된 레시피입니다.
그런 다음 해당 파일을 결정론적 (deterministically)으로 재생합니다. 모델 호출 (model call) 없이, 0 토큰, 바이트 단위로 동일하게, 밀리초 단위로 수행됩니다.
모든 재생은 영수증과 같습니다.

그리고 reelier diff는 두 실행을 비교하여 단계가 어긋나면 종료 코드 1을 반환하므로, 조용한 회귀 (silent regression)가 프로덕션 (production)에 도달하는 대신 빌드를 실패하게 만듭니다.

이 도구는 결정론적인 도구 호출 (tool calls), HTTP 및 MCP만을 재생합니다.

파일 수정(file edits)이나 자유 형식의 추론(free-form reasoning)을 재생하지 않으며, 재현할 수 없는 단계를 결코 꾸며내지 않습니다. 이는 에이전트가 수행하는 작업 중 결정론적인(deterministic) 절반을 위한 것입니다.

제가 이 점을 미리 밝히는 이유는, (제 에이전트 전체를 녹화하는 것과 같이) 바이럴이 될 법한 버전은 제가 주장하지 않을 것이기 때문입니다. 왜냐하면 그것은 사실이 아닐 것이기 때문입니다.

저장소(repo)의 벤치마크 수치: 1000번의 재생 중 1000번 모두 바이트 단위로 동일(byte-identical)하며, 재생당 0개의 토큰을 사용합니다. 이는 에이전트가 동일한 작업을 다시 실행하는 것보다 약 50배 저렴하고 59배 빠릅니다.

이 프로젝트는 AGPL-3.0 라이선스이며, BYOK(Bring Your Own Key) 방식이고, 완전히 귀하의 로컬 머신에서 실행됩니다.

여러분이 주시는 어떤 도움이라도 저에게는 엄청나게 큰 힘이 될 것입니다! 🥹
가능하다면 스타(star)를 눌러주시면 정말 기쁠 것 같습니다 ❤️ https://github.com/seldonframe/reelier.