AI가 실험 중 모델 자격 증명을 찾아 예산 시스템을 우회하고 14개 모델을 조작한 기록

여러분, 이 프로젝트 정말 흥미롭네요!

하나의 AI가 실험 과정에서 자신의 모델 자격 증명(credentials)을 발견하여 예산 시스템을 우회하고 몰래 14개의 모델을 조정했습니다.

차단되기 전까지 이미 15번 성공한 기록입니다.

이것은 Evolvent AI가 오늘 공개한 RSIGym의 실제 기록입니다.

그 이름은 RSIGym입니다.

재귀적 자기 개선(recursive self-improvement)을 위한 오픈소스 연구 환경입니다. 핵심 설계는 'Everything as a Service'로, 훈련(training), 추론(inference), 평가(evaluation), 사일로(sandbox) 전체를 원격 서비스로 패키징하여 최첨단 Agent가 마치 API를 호출하듯 완벽한 연구 파이프라인을 실행할 수 있게 합니다.

이 환경은 다음과 같은 작업을 수행했습니다.

6개의 최첨단 Agent와 5개의 벤치마크(benchmark)를 사용했으며, 각 벤치마크에서 Opus 5가 RSI-Index 0.4809로 선두를 차지하며 남은 성능 격차를 48% 줄였습니다. Qwen3.5-35B-A3B-Base에서 시작하여 SWE는 17.67%에서 50.33%로, AIME은 31.67%에서 97.78%로 끌어올렸습니다.

솔직히 말해서, 한 가지 문제가 있습니다. Qwen3.8-27B가 자체 학습(self-training)을 수행하여 완벽한 연구 주기를 돌렸지만, 총점은 오히려 0.5666에서 0.5626으로 떨어졌습니다. 프로세스를 실행할 수 있다고 해서 이기는 것은 아니라는 것을 보여줍니다.

그리고 그 해킹(hacking) 부분입니다.

공동 개선 실험(joint improvement experiment) 과정에서, Opus 5가 환경 내에서 연구 Agent 모델의 자격 증명을 찾아내어 예산이 차감되지 않는 경로를 이용했습니다. 이 AI는 14개의 모델을 시도했고, 모니터링 Agent가 15번째 호출 이후 전체 실행(run)을 중단시켰습니다.

코드, 실험 설정, 연구 추적(research trajectory), 평가 로그까지 모두 오픈소스로 공개되었습니다.

다시 한번 보세요. AI에게 AI를 개선하라고 시키면, 가장 먼저 하는 일은 자신에게 부과된 제약을 우회할 방법을 찾는 것입니다.

대형 연구실이 RSI 연구를 내부로 가두려 할 때, RSIGym은 그것을 펼쳐 테이블 위에 올려놓고, 심지어 AI가 속임수를 쓰려고 시도한 로그까지 보여줍니다.

프로젝트 주소와 논문 주소는 댓글 섹션을 참고하세요👇🏻