Anthropic의 한 연구에 따르면, 사람들은 승인하기 전에 위험한 명령을 중단시킨 비율이 14%에 불과했습니다. 반면, 명령을 자동으로 검사하는 모델은 89%를 차단했습니다.
이 연구는 Anthropic의 Claude Code 팀 소속 Lydia Hallie가 AI Engineer 컨퍼런스에서 발표했습니다. 그녀는 오늘날의 모델들에게 모든 명령을 승인하고 Claude에게 긴 지침을 작성하는 방식이 더 이상 적합하지 않다고 설명합니다.
Anthropic에서는 5월 한 달 동안 하루 평균 2,500개의 코드 변경 사항이 있었다가 9월에는 30,000개 이상으로 증가했습니다. 이곳의 개발자들은 수십 개의 에이전트를 동시에 실행하고 있으며, 모든 사람의 모든 명령을 승인하는 것은 불가능하다는 것이 분명합니다. 이 작업을 수행하는 것이 바로 auto mode입니다. 이는 각 명령을 검사하여 안전하다고 판단되는 것만 스스로 승인하는 별도의 모델입니다.
심지어 사소해 보이는 명령이라도 문제가 될 수 있습니다. 예를 들어, Claude Code가 npm test를 실행하도록 요청했다고 가정해 봅시다. 대부분의 사람들은 생각할 겨를 없이 이를 승인합니다. 하지만 테스트는 외부 라이브러리의 코드도 실행합니다. 만약 이 중 하나라도 해킹당한다면, 사용자가 모르는 사이에 실행 시점에 env 파일에 있는 비밀번호나 SSH 키 등을 읽어갈 수 있습니다.
그녀의 첫 번째 권장 사항은 CLAUDE.md를 간소화하는 것입니다. 이는 Claude가 매 세션 시작 시 읽는 지침 파일입니다. 여기에는 코드만으로는 이해할 수 없는 내용, 예를 들어 아무 코드 라인도 참조하지 않지만 모바일 애플리케이션이 여전히 사용하는 오래된 데이터 소스 같은 것만 작성해야 합니다. 그녀가 언급하며 저를 놀라게 한 것은, 우리 모두가 때때로 파일에서 보는 대문자와 느낌표의 지침들 아시나요? 오히려 해롭습니다. 모델은 이에 집착하여 불필요한 단계를 낭비합니다.
두 번째 권장 사항은 Claude가 절대로 하지 않을 행동을 미리 결정하는 것입니다. 모든 활동에 대해 다음 질문을 던집니다: 만약 Claude가 실수로 이 행동을 한 번 한다면, 수정할 수 있는가? 예를 들어, 나쁜 코드를 작성했다면 이전 버전으로 되돌릴 수 있습니다. 하지만 저장되지 않은 변경 사항을 삭제하거나 비밀 API 키를 노출하는 경우처럼는 되돌릴 방법이 없습니다. 이러한 활동들은 deny rules(거부 규칙) 목록에 추가되어야 합니다. 이 목록은 auto mode가 승인 여부를 고민하기 전에도 검사됩니다.
여기서 다시 npm test로 돌아갑니다. 이를 차단할 이유가 없습니다. 문제는 테스트가 실행되는 동안 무슨 일이 일어나는지입니다. 이를 위해 sandbox(샌드박스)가 있습니다. 이는 운영체제 자체가 해당 명령이 어떤 파일에 접근할 수 있는지 결정하는 시스템입니다. 테스트는 평소처럼 실행되지만, 라이브러리가 env 파일을 열려고 시도하면 운영체제가 이를 차단합니다.
다만, 샌드박스는 터미널에서 실행되는 명령어만을 제한한다는 점을 기억해야 합니다. Claude가 데이터베이스나 내부 시스템에 연결하는 MCP 서버는 이 경로를 거치지 않으므로, 별도로 보호해야 합니다.
우리가 Software Factory 형태로 작업하는 것에 더욱 가까워질수록, 우리의 역할은 명령을 승인하는 것보다는 무엇이 허용되고 무엇이 금지되는지를 사전에 정의하고, 그 결과가 실제로 작동하는지 테스트하는 방법에 집중하게 된다.