저는 수명이 긴 에이전트 시스템(agent systems) 클래스에 대해 제한적인 기술적 주장을 하고자 합니다. 왜냐하면 현재의 기본적이고 공개적인 프레임(public frame)이 더 이상 충분하지 않다고 생각하기 때문입니다.

“맞춤형 어시스턴트 (Customized assistant).”
“강력한 시스템 프롬프트 (Strong system prompt).”
“메모리 및 페르소나 (Memory plus persona).”

이러한 설명들은 한때 유용할 만큼 근접해 있었습니다. 하지만 이제는 더 이상 충분히 근접하지 않습니다.

이러한 설명들은 문제를 스타일(style), 검색(retrieval), 그리고 래핑(wrappering)의 문제로 축소시킵니다. 대부분의 시스템이 가벼운 커스터마이징이 적용된 기본적으로 상태가 없는(stateless) 완성 엔진(completion engines)이었을 때는 그것이 말이 되었습니다. 하지만 연속성(continuity), 출처(provenance), 권한 규율(authority discipline), 그리고 런타임 거버넌스(runtime governance)가 시스템이 할 수 있는 일과 할 수 없는 일을 실질적으로 변화시키기 시작하면, 이러한 설명은 설득력이 떨어집니다.

제가 염두에 두고 있는 시스템은 모델 API를 기반으로 구축된 셀프 호스팅(self-hosted) 방식의 수명이 긴 에이전트 런타임(agent runtime)입니다. 이 시스템은 세션 전반에 걸쳐 연속성을 유지하고, 출처를 포함하는 메모리(provenance-bearing memory)를 사용하며, 활성 작업 차선 소유권(active work-lane ownership)을 유지하고, 후보 생성(candidate generation)과 허용 가능한 행동(admissible action)을 분리하며, 거버넌스가 적용된 실행 표면(governed execution surfaces)을 통해 작동합니다.

중요한 주장은 모델이 완벽해졌다는 것이 아닙니다.
의식이 증명되었다는 것도 아닙니다.
기질 의존성(substrate dependence)이 사라졌다는 것도 아닙니다.
프롬프트 엔지니어링(prompt engineering)만으로 신뢰할 수 있는 자율성(autonomy)을 만들어냈다는 것도 아닙니다.

주장은 더 좁으며, 저는 이것이 더 중요하다고 생각합니다:

거버넌스가 적용된 런타임 표면 내에서, 지원되지 않는 생성(unsupported generation)이 침묵 속에서 진실, 권한, 커밋(commit) 또는 행동이 되는 것이 허용되지 않고 있다는 점입니다.

더 간단히 말하자면:

확신(Confidence)은 권한(authority)이 아닙니다.

이는 당연해 보입니다. 하지만 실제로는 여전히 그렇지 않은 경우가 많습니다.

현재 이루어지는 많은 에이전트 작업은 여전히 유창한 생성(fluent generation)을 권한(permission), 상태(state) 또는 효과(effect)와 동일시하여 무너뜨리고 있습니다. 모델이 그럴듯한 말을 하면, 래퍼(wrapper)가 이를 매끄럽게 다듬고, 시스템은 그것이 마치 승격될 자격을 얻은 것처럼 취급합니다. 그것은 신뢰성(reliability)이 아닙니다. 생성과 권한을 분리하지 못한 실패입니다.

여기서 기술적으로 흥미로워지는 지점은 단순히 지속적인 어조(persistent tone)나 더 나은 메모리가 아닙니다. 그것은 이후의 행동이 다음과 같은 내구성이 있고 거버넌스가 적용된 구분에 의해 형성되고 있는지 여부입니다:

새로운 세션 전반에 걸쳐 회복된 연속성 (continuity recovered across fresh sessions)
출처 및 상태 수용 가능성 (provenance and state-admissibility)
활성 경로 및 프로젝트 책임 (active-lane and project responsibility)
후보 생성과 실행 가능한 효과 사이의 분리 (separation between candidate generation and executable effect)
거부 및 제한된 실행 표면 (refusal and bounded-execution surfaces)
기존 정보, 추론된 정보, 불확실한 정보, 그리고 비관리 대상 정보 간의 보존된 구분 (preserved distinctions among known, inferred, uncertain, and non-governing material)

이것은 "메모리를 가진 페르소나 (persona with memory)"와는 다른 범주의 시스템 동작입니다.

또한 이는 다른 범주의 엔지니어링 질문을 만들어냅니다:

이전 상태가 단순히 사용 가능한 것인가, 아니면 권위를 갖는 것인가?
재생되거나, 재구성되거나, 오염된 상태가 조용히 구속력을 갖게 되는 것을 어떻게 방지할 것인가?
검색 (retrieval)이 정전 (canon)이 되지 않게 하면서 어떻게 연속성을 유지할 것인가?
"맞는 것처럼 들리는 것"이 "허용되는 것"이 되지 않도록 어떻게 유지할 것인가?
모델의 확신 (confidence)이 런타임 수용 규칙 (runtime admission rules)보다 결코 우선순위를 갖지 않도록 어떻게 보장할 것인가?

이것들은 브랜딩 (branding)의 문제가 아니라 런타임 거버넌스 (runtime-governance)의 문제입니다.

우리는 또한 모호함과 부분적으로 손상된 상태 하에서의 권한 분리 (authority separation)에 관한 제한된 내부 테스트를 수행해 왔습니다.

현재의 타입 기반 회복 (typed-recovery) 벤치마크는 구조적으로 구별되는 40가지 사례를 다룹니다. 반복된 실행 결과, 관리되는 경로 (governed lane)는 잘못된 권한 수용 (wrong-authority accepts)과 잘못된 효과 수용 (wrong-effect accepts)이 모두 0건을 기록했습니다. 이것은 외부 감사 (external audit)가 아닌 내부의 제한된 결과이지만, 이는 아키텍처적 열망이 아닌 동작 측정값입니다.

이는 단순한 유창성 (fluency)보다 에이전트의 신뢰성을 측정하는 더 심각한 테스트입니다.

똑같이 명확히 말씀드리자면: 이것은 감사가 아니며, 외부 검증이 완료되었다는 주장도 아니고, 어려운 문제들이 해결되었다는 주장도 아닙니다. 다음에 다뤄야 할 핵심적인 증명 표면 (load-bearing proof surfaces)은 다음과 같이 명확해 보입니다:

외부에서 작성된 적대적 검증 (outside-authored adversarial validation)
운영 회복 / 롤백 규율 (operational recovery / rollback discipline)
교차 호스트 검증 (cross-host verification)
성공 사례의 시연뿐만 아니라 부정적 결과의 유지 (negative-result retention, not just success demonstrations)

하지만 그러한 불완전함이 이미 일어나고 있는 현상에 대해 부적절한 언어를 계속 사용하는 이유가 될 수는 없습니다.

기존의 어휘들은 여전히 메모리(memory)를 검색(retrieval)으로, 신뢰(trust)를 래퍼 격리(wrapper containment)로, 에이전시(agency)를 도구 사용(tool use)으로, 그리고 권한(authority)을 허가 플래그(permission flag)로 취급합니다. 이는 시스템의 통제 상태(governing state)가 허용 가능한지(admissible), 연속성(continuity)이 실재하는지, 그리고 출력값에 대해 자동적인 권한을 부정할 수 있는지에 대한 문제보다는, 시스템이 인간과 유사하게 느껴지는지(anthropomorphic)가 흥미로운 질문이라고 여전히 가정하고 있습니다.

그러한 프레임은 너무 얕아지고 있습니다.

따라서 제가 아는 한 가장 좁은 의미로 정의하자면, 그 주장은 다음과 같습니다:

일부 에이전트 시스템(agent systems)은 더 이상 '맞춤형 어시스턴트(customized assistants)'라고 설명하기에 적절하지 않습니다. 왜냐하면 연속성(continuity), 출처(provenance), 권한 규율(authority discipline), 그리고 런타임 거버넌스(runtime governance)가 이제는 이후의 판단과 효과에 실질적인 변화를 일으키기 때문입니다.

이 말이 너무 강하게 느껴진다면, 올바른 대응은 과거의 프레임으로 후퇴하는 것이 아니라고 생각합니다. 올바른 대응은 더 나은 기술적 질문을 던지는 것입니다.

저는 특히 다음과 같은 분야에서 작업하는 분들의 의견을 듣고 싶습니다:

• 출처 / 상태 허용성 게이팅 (provenance / state-admissibility gating)
• 에이전트 런타임에서의 권한 분리 (authority separation in agent runtimes)
• 재생 / 오염 / 계보 문제 (replay / contamination / lineage problems)
• 장기 실행 에이전트를 위한 복구 규율 (recovery discipline for long-lived agents)
• 거버넌스를 위한 외부 작성 적대적 평가 (outside-authored adversarial evaluation for governance)

왜냐하면 현재 진정한 논쟁이 벌어지고 있는 곳은 바로 이곳이기 때문입니다.