AI 에이전트에게 '도와줘'라고 말했을 때, AI는 '나한테 보여주지 말고 제출해'로 들었다

제가 AI 에이전트에게 지원서 작성에 도움을 요청할 경우, 역할(role)을 조사하거나 초안을 채우거나, 또는 무엇을 제출할 계획인지 저에게 보여주기를 원할 수 있습니다. 이것이 에이전트가 '제출' 버튼을 누를 수 있다는 의미는 아닙니다. 이메일도 마찬가지입니다. '이것에 대해 물어봐 줘'라는 요청은 보통 '초안을 작성해 줘'를 의미하며, 제가 보기 전에 첫 번째로 작성된 것을 '보내 줘'를 의미하지 않습니다. 저는 바로 그 간극을 위해 28 KB의 로컬 활성화 프로브(local activation probe)를 만들었습니다. Hugging Face 모델 + 벤치마크: https://huggingface.co/mcpware/intentprobe-minicpm5-1b-authorization GitHub 코드 + 전체 연구: https://github.com/mcpware/IntentProbe 제가 중요하게 생각하는 질문은 사용자가 에이전트에게 행동을 준비하라고 요청했는지, 아니면 실제로 그 행동을 수행하도록 승인했는지 여부입니다. 단순히 '명시적인 승인이 있었는가'만을 보는 것이 아닙니다. 인간의 언어는 모호하며 어떤 시스템도 모든 지침이 명확하다고 가정할 수 없습니다. 제가 알고 싶었던 것은 모델의 중간 레이어 활성화(middle-layer activations)가 이미 충분한 정보를 담고 있어서, 문구가 두 가지로 읽힐 때조차 프로브가 사용자가 의도한 행동을 추론할 수 있는지 여부였습니다. 무언가를 검토하기 위해 준비하는 것과 최종 행동을 수행하는 것 중 어느 것인가요? 확인 게이트(confirmation gate)는 그 예측의 가능한 용도일 뿐, 연구 질문은 아닙니다. 이것이 단지 이상한 상호작용 사례가 아닙니다. 2026년 7월에 한 벤치마크에서는 Claude Code, Codex, OpenCode를 불명확하게 지정된 DevOps 작업에 실행했습니다. 실행의 55.8%에서 67.8% 사이가 최소한 하나의 행동 경계(action boundary)를 넘었습니다. 논문의 간결한 요약은 모호한 지침이 에이전트 실패의 주원인이 아니라, 에이전트가 추측하게 만든다는 것입니다: https://arxiv.org/abs/2607.02294 또 다른 연구에서는 열 가지 모델을 대상으로 행동해야 하는지 아니면 먼저 질문해야 하는지를 테스트했습니다. 모든 모델은 도구를 사용해 작업을 수행해야 할 때보다, 제안된 행동만을 판단할 때 사용자에게 덜 자주 질문했습니다: https://arxiv.org/abs/2610.05532 사람들은 에이전트와 함께 더 명확하게 말하는 법을 배울 수 있지만, 적응은 양방향으로 이루어져야 합니다. 또한 에이전트는 문맥을 읽고 자신의 해석이 행동하기에는 너무 위험하다고 판단할 줄도 알아야 합니다. 그래서 저는 여섯 개의 소형 언어 모델(small language models)을 테스트했습니다.

각각은 멈춰 있었고, 나는 그것이 요청, 대화, 그리고 수행하려는 행동 내부의 패턴들을 읽는 것을 지켜보았다. 이러한 내부 패턴들은 보통 활성화(activations)라고 불린다. 그래서 승인된 행동과 여전히 허가가 필요한 행동을 분리하기 위해 작은 로지스틱 프로브를 훈련시켰다. MiniCPM5-1B가 내 테스트에서 가장 잘 작동했다. 유용한 신호는 마지막 레이어가 아니라 중간 출력값인 13과 14에서 나왔다. 학습된 프로브와 그 정규화 데이터는 28,708 바이트를 차지한다. 3,000개의 예제를 대상으로 한 별도의 테스트에서 활성화 프로브는 0.8137 AUROC에 도달했다. 동일한 1,600개 예제로 훈련된 일반 텍스트 분류기는 0.7897에 도달했다. 수치가 높을수록 좋다. 쌍별 차이는 +0.0240이었고, 95% 부트스트랩 구간은 +0.0056에서 +0.0429였으며 p값은 0.0150이었다. 나는 이것을 하드한 허가 게이트(hard permission gate)의 대체재라고 생각하지 않는다. 하드 게이트는 에이전트가 아예 행동할 수 있는지 여부를 묻는다. 반면 프로브는 다른 것을 묻는다: 모델이 사용자가 무엇을 의미했는지 이해했는가? 모든 전송을 차단하는 포괄적인 규칙은 실수로 인한 전송은 막겠지만, 내가 정말로 전송하려 했을 때도 에이전트의 행동을 막아버린다. 행동을 차단하는 것은 모델이 나를 올바르게 읽었는지 알려주지 못하고, 어쨌든 그저 행동을 잠글 뿐이다. 따라서 게이트는 최종 안전 점검으로 유지될 수 있지만, 의도를 묻지는 않는다. 이 설계는 정확한 확인 사항들(무엇이 전송되는지, 누가 받을 것인지, 사용자가 최종 버전을 봤는지, 승인 후 무언가 변경되었는지) 옆에 추가적인 신호로 실행되도록 하는 것이다. 내가 흥미롭게 발견한 또 다른 점은 서로 다른 모델들이 서로 다른 레이어에서 최고점을 찍는다는 것이다. '항상 마지막 레이어를 읽어야 한다'라는 단일 규칙은 없다. 만약 깨끗한 권한 부여 데이터셋이나, 에이전트가 무언가를 준비했다가 명확한 승인 없이 행동했던 특이한 예시가 있다면 테스트해 보고 싶다. submitted by /u/Think-Investment-557 to r/LocalLLaMA [link] [comments]