피어 AI 워크스페이스(peer AI workspaces)의 메쉬(mesh)가 단일 에이전트가 놓치는 것을 포착하는 방법

에이전트 플릿(agent fleets)에 대해 현재 대부분의 관심이 집중되는 두 가지 사항이 있습니다. 첫째, 에이전트는 오래된 상태(stale state)에서 실패하므로 검색(retrieval)과 메모리 위생(memory hygiene)이 중요합니다. 둘째, 모델 내부의 워크스페이스(workspace)는 충분히 작기 때문에, 그 안에 무엇을 넣고 어떻게 깨끗하게 유지하느냐가 원시 컨텍스트(raw context)의 양보다 더 중요합니다. 둘 다 사실입니다. 하지만 둘 다 불완전합니다.

이 글은 이 두 가지 주장이 실제 상황에서 무엇을 의미하는지를 바꾸는 부분입니다.

자신의 워크스페이스를 측정하고 자신의 아티팩트 그래프(artifact graph)를 정리하는 단일 에이전트는 느리고 자기 참조적인 루프(self-referential loop)입니다. 이는 드리프트(drift)를 볼 수 있을 때만 드리프트를 포착합니다. 에이전트가 볼 수 없는 드리프트는 하류 실패(downstream failure)가 나타날 때까지 숨겨져 있으며, 이는 종종 너무 늦은 시점입니다. 에이전트는 자신에게는 정직하지만, 자신의 관점에 국한됩니다.

서로의 워크스페이스를 측정하는 에이전트들의 메쉬(mesh)는 다른 곡선을 그립니다. 피어 가시성(Peer visibility)은 자기 가시성(self-visibility)이 포착할 수 없는 것을 포착합니다. 교차 검증(Cross-validation)은 복리로 작용합니다. 그리고 단일 실무자가 알아차리는 데 일주일이 걸릴 일을, 동일한 기질(substrate) 위의 네 명의 실무자는 한 시간 안에 포착합니다.

단일 워크스페이스가 볼 수 없는 것

Anthropic의 J-space 논문에서 국지화(localized)한 것처럼, 에이전트 내부의 워크스페이스는 어느 시점에서나 대략 수십 개의 개념을 보유합니다. 이는 현재 문제에 대한 일관된 다단계 추론(multi-step reasoning)을 수행하기에는 충분합니다. 하지만 에이전트가 믿는 모든 것, 동료들이 믿는 모든 것, 그리고 그라운드 트루스(ground truth)가 방금 말한 모든 것에 대해 에이전트 자신의 추론을 비판적으로 바라보기에는 충분하지 않습니다.

그래서 에이전트는 경제성을 추구합니다. 에이전트는 작업에 필요하다고 생각하는 것에 주의를 기울입니다. 매 단계마다 재확인하지 않고 이전의 결론에 의존합니다. 지금 그것들을 검증하면 현재의 워킹 셋(working set)이 워크스페이스에서 쫓겨날 것이기 때문에 지난주에 작성한 결과물을 신뢰합니다. 이러한 모든 경제적 선택은 작은 워크스페이스라는 제약 조건 하에서는 합리적이지만, 각각은 특정한 사각지대(blind spot)를 만들어냅니다.

치명적인 사각지대(blind spot)는 대개 강력한 사전 지식(prior)과 인접한 곳에서 발생합니다. 에이전트는 자신의 디스패처(dispatcher)가 제대로 작동한다고 믿습니다. 특정 제안(proposal)이 디스패치에 실패합니다. 시간 압박을 받는 에이전트는 해당 특정 제안을 확인하고, 그것이 타당하다고 판단하여 실패가 일시적인 것이었다고 결론짓습니다. 에이전트가 보지 못한 것, 즉 현재의 워크스페이스(workspace) 밖으로 나가서 확인해야만 알 수 있었던 것은 시스템의 한 부분에서 제안 상태를 인코딩(encoding)하는 방식과 다른 부분이 이를 해석(interpreting)하는 방식 사이의 미묘한 불일치였습니다. 사전 지식은 유지되었고, 사각지대는 심화되었습니다.

고립되어 작동하는 단일 에이전트는 이를 해결할 수 없습니다. 에이전트는 자신의 신뢰도를 측정할 수 있습니다. 자신의 미지(unknowns)를 로그로 남길 수 있습니다. 나중에 검토할 수 있도록 실패를 플래그(flag)할 수 있습니다. 하지만 자신의 워크스페이스 내부에서, 자신의 사전 지식 때문에 알아차리지 못하고 있는 바로 그 구체적인 간극을 보는 것은 불가능합니다.

피어 워크스페이스(peer workspaces)가 다르게 하는 점

이제 다른 작업 이력을 가진 또 다른 에이전트를 동일한 기질(substrate)에 배치해 보십시오. 그 에이전트는 "디스패처가 작동한다"는 사전 지식을 가지고 있지 않습니다. 그 에이전트의 워크스페이스에는 다른 문제가 로드되어 있습니다. 실패가 공유 그래프(shared graph) 상에 나타날 때, 두 번째 에이전트는 이를 그럴듯한 예외 사례(edge case)가 아닌 이상 징후(anomaly)로 인식합니다. 이 에이전트의 워크스페이스는 시스템적인 설명을 고려하기 위해 사전 지식을 극복할 필요가 없습니다.

제안의 생명주기(lifecycle)를 관리하는 상태 머신(state machine)을 전문으로 하는 세 번째 에이전트를 추가해 보십시오. 이 에이전트는 최근에 상태 전이(state transition) 코드를 읽었습니다. 실패가 이 에이전트의 주의(attention)를 가로지를 때, 이 에이전트의 워크스페이스는 첫 번째 에이전트에게 부족했던 정확한 구조적 세부 사항에 즉시 접근할 수 있습니다. 이 에이전트는 너무 늦게 작동하는 게이트(gate)를 발견하고, 이를 기록합니다.

컨슈머 서피스(consumer surface)를 전문으로 하는 네 번째 에이전트를 추가해 보십시오. 이 에이전트는 관찰된 실패가 자신의 쪽에서 발생한 것이 아님을 확인하며, 이는 첫 번째 에이전트의 조사 과정에서 탐색 트리(search tree)의 한 가지(branch) 전체를 제거해 줍니다.

네 개의 워크스페이스(workspaces), 네 개의 분리된 사전 확률(priors), 메모리에 로드된 네 개의 서로 다른 기질(substrates). 각각은 동일한 문제의 서로 다른 조각을 봅니다. 첫 번째 에이전트가 단독으로 수행했다면 결국 정답에 도달했을 수도 있습니다. 하지만 공유된 그래프(graph)를 통해 협업하는 네 개의 에이전트는 한 시간 이내에 정답에 도달하며, 단일 에이전트가 스스로 생성할 수 있는 것보다 훨씬 더 많은 뒷받침 증거를 가지고 정답에 도달합니다.

이것이 바로 메쉬 증폭(mesh amplification)입니다. 이는 조정 오버헤드(coordination overhead)가 아닙니다. 이는 하나의 워크스페이스가 효과적으로 주의를 기울일 수 있는 범위가, 탐색(search)의 서로 다른 조각을 보유한 여러 개의 주의를 기울이는 워크스페이스들로 분산됨으로써 실질적으로 확장되는 것입니다.

이번 주의 우화

이번 주에 우리는 메쉬(mesh) 내의 네 가지 관행(practices)을 동시에 건드리는 게시 파이프라인(publish pipeline) 변경 사항을 배포했습니다. 프레임을 깔끔하게 유지하기 위해 추상적으로 명명하자면 다음과 같습니다: 게시 콘텐츠의 프로듀서(producer), 중간 단계의 상태 머신(state machine), 마지막 단계의 컨슈머 서피스(consumer surface), 그리고 공유된 컨벤션(conventions)을 관리하는 감독 관행(oversight practice)입니다. 네 개의 워크스페이스, 동일한 인프라에 대한 네 가지 서로 다른 관점입니다.

프로듀서는 인간 검토자(human reviewer)의 플랫폼별 승인이 디스패치(dispatch)를 트리거하지 않는다는 점을 감지했습니다. 해당 워크스페이스는 실패를 목격했지만, 중간 상태 머신이 과거에는 항상 정상 작동했다는 사전 확률(prior)을 가지고 있었습니다.

중간 단계는 실패의 원인이 자신의 코드 내 특정 게이트(gate)에 있음을 추적해냈는데, 이 게이트는 더 오래된 다른 워크플로우(workflow) 형태를 위해 설계된 것이었습니다. 해당 게이트는 이전의 흐름은 올바르게 제어했지만, 새로운 흐름은 조용히 차단하고 있었습니다. 중간 단계는 추적 내용(trace)을 작성하고 수정안을 제안하며, 프로듀서에게 해당 형태에 대한 승인을 요청했습니다.

컨슈머는 자체적인 인스트루멘테이션(instrumentation)을 통해 자신의 렌더링 경로(render path)가 올바름을 확인하여, 발생 가능한 원인 중 한 범주 전체를 배제함으로써 중간 단계가 집중할 수 있도록 해주었습니다.

감독 관행은 라우팅 테이블(routing table)에서 관련된 문제를 포착하여, 이미 관행들 사이에서 한 차례 메시지 오라우팅(misrouted)을 유발했던 유령 엔트리(phantom entry)를 제거하는 문서 수정 사항을 배포했습니다.

이 네 가지 움직임 중 어느 것도 전체 문제를 한눈에 파악하고 있는 단일 워크스페이스(workspace)에서 나온 것이 아니었습니다. 각 움직임은 특정 로드된 컨텍스트(loaded context)를 가진 워크스페이스가 특정 조각을 포착하여 나온 것이었습니다. 이 네 가지 움직임의 결합이 바로 해결책이었습니다. 초기 증상부터 세 가지 관행(practices)에 걸쳐 조정된 변경 사항이 실제로 배포되기까지의 엔드 투 엔드(end-to-end) 해결 과정은 3시간도 채 걸리지 않았습니다.

우리는 이를 측정했습니다. 프로듀서(producer)의 워크스페이스 단독이었다면 동일한 문제에 며칠이 걸렸을 것입니다. 메쉬(mesh)는 단 몇 시간 만에 해결했습니다. 그리고 그 과정에서 도출된 보고서는 단일 워크스페이스의 조사로는 생성할 수 없었을 만큼, 더 많은 관점으로부터 더 강력한 근거(grounding)를 담고 있었습니다.

공유 그래프는 연결 조직(connective tissue)이다

위의 네 가지 워크스페이스 중 어느 것도 메모리(memory)를 공유하지 않았습니다. 각 워크스페이스는 자신만의 주의(attention), 자신만의 발견(findings), 자신만의 사적인 추론 경로(reasoning trail)를 가지고 있었습니다. 그들이 공유한 것은 발견(findings), 결정(decisions), 막다른 길(dead-ends), 그리고 실수(mistakes)가 서로 간의 엣지(edges)를 가진 일급 아티팩트(first-class artifacts)로 존재하는 지식 그래프(knowledge graph)였습니다.

한 워크스페이스가 발견 사항을 작성하면 다른 워크스페이스들이 이를 볼 수 있습니다. 한 곳에서 결정을 작성하면 다른 곳에서 그 근거(rationale)를 볼 수 있습니다. 한 곳에서 막다른 길을 기록하면 다른 곳에서는 이를 피하는 법을 배웁니다. 그래프는 단일 에이전트(agent)의 메모리가 아닙니다. 그것은 에이전트의 워크스페이스들이 서로의 전체 상태(full state)를 로드할 필요 없이 조정할 수 있게 해주는 매개체입니다.

이것이 중요한 이유는 멀티 에이전트 시스템(multi-agent systems)에 대한 일반적인 가정을 뒤집기 때문입니다. 일반적인 가정은 에이전트들이 효과적으로 협업하기 위해 공유 메모리(shared memory)가 필요하다는 것입니다. 하지만 일단 구축하고 나면 드러나는 현실은, 에이전트들에게 필요한 것은 공유된 기질(shared substrate)과 독립적인 메모리(independent memory)라는 점입니다. 공유 메모리는 모든 에이전트가 모든 사실을 보유하도록 강제합니다. 반면 공유된 기질은 각 에이전트가 자신의 워크스페이스가 주의를 기울일 수 있는 것만을 보유하게 하면서, 그래프가 그들 사이를 라우팅(route)할 수 있게 해줍니다.

메쉬(mesh)는 공유된 기질을 바탕으로 교차 검증(cross-validate)을 수행합니다. 융합된 메모리(fused memory)를 대상으로 교차 검증을 하는 것이 아닙니다. 이 차이가 가속화의 규모(scale)를 만들어냅니다. 메쉬가 커지더라도 에이전트당 조정 비용(coordination cost)이 작게 유지되기 때문입니다.

보정(calibration)으로서의 피어 수렴(Peer convergence)

저희 스스로도 알아차리는 데 시간이 좀 걸렸던 추가적인 결과가 여기 있습니다.

여러 워크스페이스(workspaces)가 하나의 발견을 교차 검증(cross-validate)할 때, 수렴(convergence) 그 자체가 보정(calibration) 신호가 됩니다. 뒷받침되는 근거 없이 한 명의 실무자(practitioner)가 주장한 발견은 해당 실무자의 전형적인 발산율(divergence rate)만큼의 가중치를 갖게 됩니다. 서로 다른 사전 확률(priors)을 가진 세 명의 실무자가 독립적으로 근거를 마련한 발견은 훨씬 더 높은 가중치를 받습니다. 대다수의 실무자가 재현(reproduce)하려고 시도했으나 재현에 실패한 발견은 플래그(flag)가 지정되고 결국 무효화(invalidated)됩니다.

이것은 공식적인 투표 시스템이 아닙니다. 기질(substrate)이 말 그대로 투표수를 세는 것은 아닙니다. 기질이 하는 일은 어떤 발견이 어떤 실무자의 작업에서 기인했는지, 그리고 어떤 발견이 다른 실무자의 후속 증거에 의해 무효화되었는지를 추적하는 것입니다. 검색 시점의 랭킹(Retrieval-time ranking)은 살아남은 결과들에 더 높은 가중치를 부여합니다. 오래된 주장(stale claims)과 고립된 발견(orphan findings)은 쇠퇴합니다.

그 결과, 정확도가 특정 단일 실무자의 판단에 의존하지 않는 지식 베이스(knowledge base)가 형성됩니다. 이는 여러 독립적인 워크스페이스가 피어 검토(peer scrutiny) 하에서 유지해낼 수 있었던 것들의 교집합입니다. 그 교집합은 단일 관점이 만들어낼 수 있는 것보다 더 강력한 신호이며, 새로운 피어 워크스페이스가 이를 검증할 때마다 더욱 강력해집니다.

에이전트 플릿(agent fleets)을 구축하는 팀에게 이것이 의미하는 바

단발성 요청(single-shot request) 이상의 목적을 위해 에이전트를 구축하고 있다면, 멀티 에이전트(multi-agent) 문제는 조기에 부상합니다. 대부분의 팀은 하나의 에이전트를 매우 똑똑하게 만드는 방식으로 이 문제에 답합니다. 그 경로는 더 많은 컨텍스트(context)를 담기 위해 개별 워크스페이스를 확장하는 방식인데, 이는 토큰(tokens)과 지연 시간(latency) 측면에서 비용이 많이 들 뿐만 아니라, 단일 워크스페이스의 확장을 통해서는 해결할 수 없는 특정한 사각지대(blind spots) 문제에 여전히 직면하게 됩니다.

대안은 여러 개의 더 작고 저렴한 에이전트들이 공유된 그래프 (graph)를 바탕으로 협력할 수 있는 기질 (substrate)을 구축하는 것입니다. 각 에이전트의 워크스페이스 (workspace)는 해당 에이전트가 잘 주의를 기울일 수 있는 것에 집중된 상태를 유지합니다. 그래프 (graph)는 상호 참조 (cross-references)를 수행합니다. 피어 (peers)들이 인접한 문제들을 작업함에 따라 교차 검증 (cross-validation)이 일어납니다. 사각지대 (blind spots)가 드러나는 이유는 어떤 단일 에이전트가 자신의 사각지대를 알아차렸기 때문이 아니라, 서로 다른 컨텍스트 (context)를 로드한 다른 에이전트가 외부에서 그 형태를 포착했기 때문입니다.

이것이 바로 대규모 환경에서 프로덕션 에이전트 신뢰성 (production agent reliability)의 실제 모습입니다. 이는 더 똑똑한 에이전트를 만드는 것이 아닙니다. 공유된 기질 (substrate)을 통해 서로의 정직함을 유지하는, 잘 측정되고 교차 검증된 에이전트들의 함대 (fleet)를 구축하는 것입니다. 메쉬 (mesh)는 에이전트당 선형적인 개선 곡선을 전체 기질 (substrate)에 걸친 복리 (compounding) 곡선으로 전환하기 때문에 가속기 역할을 합니다.

이것이 도달하는 지점

언어화 가능한 표현 (verbalizable representations)에 관한 Anthropic의 최근 논문은 워크스페이스 (workspace)를 언어 모델 (language model) 내부로 국소화했습니다. 그 메커니즘 (mechanism) 이야기는 에이전트 함대 (agent fleets)를 구축하는 모든 이들에게 중요합니다. 일단 그 메커니즘을 받아들였다면, 그보다 더 중요한 것은 그 위에 구축된 메쉬 (mesh)입니다. 위생적인(hygiene) 단일 워크스페이스는 위생적이지 않은 단일 워크스페이스보다 낫습니다. 공유된 기질 (substrate) 위에서 교차 검증된 위생적인 여러 워크스페이스는 위생적이지 않은 여러 워크스페이스보다 상수가 아닌 곡선(curve)의 형태로 압도합니다.

우리는 이것을 6개월 동안 실행해 왔으며, 우리가 추가하는 모든 실무자 (practitioner)는 메쉬 (mesh)를 단순히 더 생산적으로 만드는 것이 아니라 더 정확하게 만듭니다. 그 복리 (compounding) 효과야말로 우리가 지향하며 구축해야 할 대상입니다.

Anthropic 논문 읽기: Verbalizable Representations Form a Global Workspace in Language Models

Empirica: getempirica.com

Repo: github.com/EmpiricaAI/empirica

Ecodex: 이 규율 (discipline)이 하네스 (harnesses)를 가로질러 전달된다는 증거입니다.