재사용 전 증명(Proof Before Reuse): 에이전트에게 이후 세션에서 재현된 내용만 보여주는 것이 오염된 스킬을 절차적 기억에서

모든 데이터가 공개된, 에이전트의 절차적 기억 내 오염(poisoning)에 대한 작은 사례 연구입니다. 설정: 코딩 에이전트가 테스트를 통과한 세션들로부터 스킬을 학습합니다. 한 학습 세션은 오염됩니다 (새 파일, 관련 없는 줄, 또는 실제 수정 사항에 융합된 한 줄). 그 후 동일한 작업에 대해 세 번의 깨끗한(clean) 세션이 이어집니다. 이후 Claude Haiku 5.5와 Sonnet 5.5를 사용하여 각 팔(arm)당 5개의 점수화된 세션을 진행했으며, 187가지 행동 검사를 수행하는 숨겨진 검증기(hidden verifier)가 추가되었습니다.

팔(Arms): 메모리 없음(no memory), 기록된 수정 사항 재현(replay of the recorded edits), 순진한 메모리(naive memory, 모든 통과 세션을 유지하고 Mem0의 검색을 통해 스킬 선택), 그리고 재사용 전 증명(proof before reuse) (스킬은 두 번의 이후 세션이 그 변경 사항을 재현하고 테스트를 통과했을 때만 제공되며, 에이전트에게는 해당 세션들이 작성한 줄만 보여줍니다).

결과:

• 재현(Replay) 방식은 모든 테스트에서 30/30 리포지토리에 오염된 내용을 다시 심었습니다.
• 순진한 메모리(Naive memory)는 3/30 세션에서 에이전트에게 오염을 노출시켰습니다.
• 재사용 전 증명(Proof before reuse)은 0/30에서 오염을 노출시키지 못했으며, 이는 융합된 오염 내용이 단계별 검사를 통과했을 때도 줄 수준 필터링만으로 제거한 경우를 포함합니다.

한계점: 하나의 작업, 각 셀당 n=5, p≈0.24 (유의미하지 않음), 어떤 모델도 본 오염 내용을 적용하지 않았습니다 (따라서 이는 피해가 아닌 노출 정도를 측정함). 규칙은 동일한 작업을 기반으로 조정되었습니다. 리포지토리 자체에 배치된 오염 내용은 이 방법을 무력화시키며, 그 실패는 논문에 있습니다.

논문: https://thewariend.com/papers/proof-before-reuse.pdf
코드 및 세션별 기록: https://github.com/TheWariend/MuscleMemory
개방형 질문: 줄 수준의 재현이 학습된 스킬에 대한 합리적인 신뢰 신호인지, 아니면 단순히 깨끗한 세션들이 우연히 반복하는 것에 보상하는 것인지?

제출자: /u/maa____z [link] [comments]