저는 5개월 전 Hacker News 댓글에 이 문장을 썼지만 아무런 반응을 얻지 못했습니다. 기능 목록의 맨 아래에 묻어두었으니 당연한 결과였습니다. 하지만 이 문장은 CORE의 전체 설계 철학을 다섯 단어로 요약한 것이기에, 더 주목받을 가치가 있습니다.

이 문장이 답하는 문제는 다음과 같습니다.

모든 AI 코딩 설정은 결국 동일한 질문에 직면합니다. AI가 검사(check)보다 더 똑똑할 때, 과연 누가 승리할 것인가?

당신의 린터(linter)가 특정 패턴을 지적합니다. 그러면 LLM(대규모 언어 모델)은 왜 이번 사례가 예외인지 설득력 있게 설명합니다. 당신의 아키텍처 규칙(architecture rule)은 계층 간 임포트(cross-layer imports)를 금지합니다. 하지만 에이전트(agent)는 이번 한 번만큼은 괜찮은 정말 영리한 이유를 제시합니다. 그리고 솔직히 말해서, 때로는 그 말이 맞습니다. 모델이 규칙보다 코드베이스(codebase)에 대해 더 나은 추론을 수행하기도 합니다.

그래서 지능이 판결을 내리도록 유혹하게 됩니다. 가장 똑똑한 컴포넌트(component)에게 최종 결정권을 주는 것입니다. 규칙은 권고 사항으로 만들고, 추론을 주권자로 만드는 것이죠.

그것이 함정입니다. 지능이 법보다 우선하는 시스템에는 법이 존재하지 않습니다. 그저 제안 사항과, 그 제안이 언제 적용될지를 결정하는 매우 말을 잘하는 개체(entity)가 있을 뿐입니다. 모든 "정당한 예외"는 — 6개월 후 감사 추적(audit trail)을 확인했을 때 — 그럴싸한 마케팅을 곁들인 위반 사항과 구별할 수 없습니다.

CORE는 이를 뒤집습니다. 헌법은 .intent/라는 디렉토리에 존재합니다. 즉, 규칙이 데이터(rules as data)로서 YAML 형식으로 존재하며, 결정론적 엔진(deterministic engines)에 의해 확인되고, 강제적인 중단(hard halt)과 함께 집행됩니다. 저장소(repo)를 관리하는 자율 데몬(autonomous daemon)은 해당 디렉토리에 쓸 수 없습니다. "쓰지 말라는 지시를 받는 것"이 아닙니다. 쓸 수 없습니다. 쓰기 경로(write path)는 분석 시점, 런타임(runtime), 그리고 커밋(commit) 시점에 세 가지 독립적인 단계에 의해 차단됩니다.

하지만 사람들이 놓치는 부분, 그리고 문장이 그런 방식으로 끝나는 이유가 여기에 있습니다.

저 역시 그것을 우회할 수 없습니다.

저는 통치자(governor)입니다. 저는 기계에 대한 루트(root) 권한을 가지고, 리포지토리(repo)의 관리자(admin)이며, 모든 규칙의 작성자(authorship)입니다. 그리고 제가 규칙을 바꾸고 싶을 때도 저는 동일한 통제된 경로를 거칩니다. 초안(draft)을 작성하고, 검토(review)를 거치며, 제 이름이 기록된 감사 추적(audit trail) 항목을 남깁니다. 헌법은 오늘 이 방에서 제가 가장 똑똑한 사람이라는 사실을 알지도 못하고 신경 쓰지도 않습니다. 제 자신의 커밋(commit)이 문서 무결성(docs-integrity) 규칙을 위반했을 때, 감사(audit) 시스템은 저를 지목했습니다. 제가 만든 시스템이 저를 그렇게 만들었기에, 저는 토요일을 반납하고 제 리포지토리(repo)를 수정해야 했습니다.

그 비대칭성 — 인공지능이든 인간이든 시스템 내의 모든 지능보다 법이 우선한다는 점 — 이 바로 감사 추적(audit trail)이 의미를 갖게 만드는 핵심입니다. 만약 어떤 행위자(actor)라도 즉석에서 예외 사항을 판결(adjudicate)할 수 있다면, 추적 기록은 권위(authority)가 아닌 결과(outcomes)만을 기록하게 됩니다. 무엇이 변했는지는 알 수 있지만, 무엇이 그것을 허용했는지는 알 수 없게 됩니다. 규제된 환경(regulated environment)에서, 감사관(auditor)이 던지는 유일한 질문은 바로 그 두 번째 질문입니다.

실질적인 결과는 거의 지루할 정도입니다. CORE(의도에 대해 추론하는 LLM-as-judge 엔진)에서 가장 똑똑한 구성 요소는 통제된 결정에 의해 승격되기 전까지는 보고(reporting) 모드로만 작동합니다. 지능은 제안하고, 법은 결정합니다. 시스템 내에서 가장 유능한 추론기(reasoner)는 헌법이 부여한 만큼의 권한만을 가지며, 단 한 번의 머지(merge)도 더 가질 수 없습니다.

에이전트 시스템(agent systems)을 구축하는 사람들은 AI를 어떻게 하면 더 정렬(aligned)시키고, 더 신중하게 만들며, 더 신뢰할 수 있게 만들지 계속해서 묻습니다. 층위(layer)가 틀렸습니다. 신뢰성(trustworthiness)이 행위자(actor)의 속성이 전혀 아닌 시스템을 만드십시오. 그러면 행위자가 얼마나 똑똑해지든 상관없게 됩니다.

법은 지능보다 우선합니다. 우리의 지능을 포함해서 말이죠. 특히 우리의 지능은 더욱 그렇습니다.

CORE는 오픈 소스입니다: https://github.com/DariuszNewecki/CORE