Soei: 다중 에이전트 AI 소프트웨어 엔지니어링을 위한 증거 및 의도의 구조적 관찰 가능성

AI 코딩 에이전트는 이제 적은 감독 하에 길고, 다단계이며, 여러 세션에 걸친 소프트웨어 작업을 수행합니다. 개발자가 해당 작업으로 돌아왔을 때 유용한 질문은 모델이 무엇을 말했는지가 아니라 실제로 누가, 무엇을 했는지, 그리고 그것이 완료되었는지 여부입니다. 우리는 이 문제를 세 부분으로 나누어 연구했습니다.

첫째, 코딩 에이전트를 위한 오픈 소스 로컬 관찰 가능성 도구인 Agenttrail을 커밋 e4ba2da의 소스 코드와 비교 검증했습니다. 그 결과, 파일 및 라인 수준에서 9개의 문서화된 상수와 메커니즘이 유지되며, 두 개의 이벤트 파이프라인은 결코 통합되지 않고, Map 서비스는 인증되지 않은 로컬 변형 표면(unauthenticated local mutation surface)을 가지고 있음을 확인했습니다.

둘째, 저희 시스템의 프로토타입을 45개의 실제 코딩 에이전트 세션(102,233개 레코드, 20,577개 도구 실행, 2,336개 인간-에이전트 에피소드)에서 실행했습니다. 블라인드 감사 분류기(precision 83.3% 및 96.7%)를 사용하여 코드 편집 에피소드의 23.4%(95% CI 17.1 ~ 35.7)가 마지막 편집 후 독립적인 확인 없이 끝나는 경향이 있으며, 에이전트가 편집 후 완료로 표시한 할 일 중 57.8%는 그 사이에 증거(proof)가 없었음을 추정했습니다. 세션 인계에 대한 10분 타이밍 휴리스틱은 콘텐츠 계보를 연결하는 24개 세션 쌍 중 6개를 복구했습니다. 세션의 42%가 24시간보다 길게 실행되었고, 트랜스크립트 바이트의 48.1%는 2 MiB 재현 경계를 초과했으며, 16개 세션의 1,326개 레코드가 자격 증명(credential)과 유사한 문자열을 포함하고 있었습니다.

셋째, 저희는 Soei (Structured Observability of Evidence and Intent: 증거와 의도의 구조적 관찰 가능성)를 제안합니다. 이는 인정(acknowledgement)-인식 이벤트 스키마, 해시 체이닝된 로컬 원장(hash-chained local ledger), W3C PROV에 맞춰진 그래프, 귀속 및 계보 추정을 위한 보정된 추론(calibrated inference), 그리고 완료 주장을 증거와 분리하는 검증 레이어입니다. 동일한 코퍼스에서 이 원장은 전체 크기의 20%만을 차지하며, 콘텐츠나 자격 증명을 포함하지 않고, 약 126k 이벤트/s로 검증하며, 변조를 감지하고 결정론적으로 재현합니다. 저희는 본 연구를 동시대의 2026년 제안들과 비교하여 위치시키고, 우리의 데이터를 기반으로 한 증거 게이트(evidence gates)와 하네스 메트릭을 통해 자율성 수준을 정의합니다.