Import AI 466: 로보틱스를 위한 쓰라린 교훈, AI가 주간 프로그래밍 과제를 완수하다; 그리고 OpenAI의 우발적 AI 해커

Epoch과 METR이 AI 시스템이 장기적인(long-horizon) 프로그래밍 과제를 얼마나 잘 수행하는지 측정하는 벤치마크인 MirrorCode를 출시했습니다:
_…AI 시스템은 아직 가장 어려운 과제들을 해결하지 못한다 (좋다!)…
_Epoch과 METR은 AI 시스템이 인간에게 오랜 시간이 걸리는 과제를 얼마나 잘 수행할 수 있는지 보기 위해 고안된 벤치마크인 MirrorCode를 출시했습니다. 이 벤치마크는 지난 4월에 처음 발표되었으며(Import AI #453), 이제 추가 테스트가 더해져 구체화되어 출시되었습니다. 이미 발견된 결과들은 매우 인상적입니다. Opus 4.7은 추론 비용 $251로 14시간 만에 한 과제를 해결했는데, METR와 Epoch는 이 작업이 인간에게 2~17주가 걸릴 것이라고 예상합니다. “또한 AI 모델들이 시간이 지남에 따라 빠르게 개선되고 있다는 것을 발견했습니다. 작년의 선두 모델들은 약 30%를 기록했을 것이며, 달력 유틸리티 같은 더 단순한 프로그램으로 제한되었습니다.”

MirrorCode란 무엇인가: MirrorCode는 AI 시스템이 순전히 CLI(Command Line Interface) 접근만을 기반으로 소프트웨어 프로그램을 얼마나 잘 재구현할 수 있는지 측정합니다. “원본 프로그램의 소스 코드나 웹에 대한 접근 없이 전체를 재구현하려면, 단순히 코드를 조각별로 번역하는 것보다는 전체 프로그램의 구조를 고안해야 합니다.”
예시 프로그램: pkl (Apple이 개발한 프로그래밍 가능한 설정 언어; 총 61k 라인 코드); gotree(계통 발생 나무를 구문 분석하고 조작하는 프로그램; 16k 라인 코드); 그리고 qsv_select(CSV 데이터의 열을 선택하고 재정렬하는 프로그램; 87k 라인 코드).

결과: MirrorCode는 다루기 쉽지만 어려운 벤치마크이며, 어쩌면 약간 너무 쉬울 수도 있습니다. 저자들은 “총 25개의 목표 프로그램 중 17/25가 적어도 한 번의 만점 실행을 기록했습니다. 네 개의 목표는 99%를 초과하는 거의 완벽한 점수를 기록했습니다. AI 모델은 대규모 목표 프로그램을 성공적으로 재구현했습니다”라고 작성했습니다. “Claude Opus 4.7과 GPT-5.5 모두 여러 다른 프로그래밍 언어에 걸쳐 gotree를 성공적으로 재구현했으며, 비용은 $100–400이었습니다. gotree보다 더 큰 프로그램들도 성공적으로 재구현되었습니다. 예를 들어, Opus 4.7은 pkl을 재구현했습니다.”
성공에도 불구하고 MirrorCode에는 여전히 어려운 부분이 있습니다: “저희 결과에서 25개 목표 프로그램 중 8/25는 100% 임계값에 도달하지 못했으며, 4/25는 99% 임계값에 도달하지 못했습니다”라고 그들은 작성했습니다. “AI가 가장 어려움을 겪은 목표는 Python linter 및 포맷터인 ruff였습니다... AI는 또한 수학 패키지 giac_subset과 이메일 인증 라이브러리 mailauth에서도 특히 어려움을 겪었습니다.”
릴리스 세부 정보: MirrorCode는 스캐폴드와 25개 목표 프로그램 중 22개를 포함하며 (총 6개 언어에 걸쳐 132개의 작업 인스턴스로 구성됩니다).

이것이 중요한 이유 – AI 시스템은 스스로 방향을 설정할 수 있다 (self-orient): 이 벤치마크를 바라보는 한 가지 방식은 AI 시스템이 코딩에 있어 매우 발전했다는 것을 알려준다는 것이고, 물론 이는 사실입니다. 하지만 다른 방식으로 보는 것 – 그리고 제가 더 중요하다고 생각하는 방식은 – AI 시스템이 자신의 환경과 관련하여 스스로 방향을 설정할 수 있다는 것입니다. 여기서 그들의 환경은 외계 소프트웨어 프로그램이며, 순전히 입력-출력 접근(input-output access)만을 통해서 그것으로부터 자체적으로 구현체를 작성해낼 수 있습니다. 이는 매우 똑똑한 AI 에이전트들이 세상으로부터 학습하여, 자신들이 인터페이스하는 것들을 마치 자생적인 능력처럼 재현할 수 있게 할 수 있음을 시사하며, 단지 우리 시스템에 대한 블랙박스 접근(black box access)만으로도 자체적인 산업 문명을 부트스트랩(bootstrap)할 수 있도록 합니다.
더 읽어보기: MirrorCode: AI가 스스로 완성할 수 있는 가장 큰 소프트웨어 프로젝트는 무엇인가? (Epoch AI).
코드 받기: 여기에서 MirrorCode의 코드 받기 (Epoch Research, MirrorCode).

---

특별 기사: 쓰라린 교훈과 로보틱스:

Anthropic 모델이 이전 인간 기록보다 20배 빠르게 로봇 작업을 자율적으로 완료하다:
…더 나은 모델을 통한 더 나은 로봇…
_Anthropic은 점점 더 강력해지는 범용 모델(general-purpose models)들이 실제 세계 로봇의 역량을 의미 있게 향상시킬 수 있음을 입증했습니다. 구체적으로, 이 회사는 단순히 자체 범용 Opus 라인 모델들을 확장하는 것만으로도 로봇 역량을 극적으로 개선할 수 있음을 보여주었습니다.

구체적으로 무엇을 했는가:

• 2025년 8월: Anthropic은 자사의 AI 시스템이 사족 보행 로봇(quadruped robot)에게 지능적인 작업을 수행하도록 얼마나 잘 가속화할 수 있는지 알아보고자 했습니다. 모델(Claude Opus 4.1)은 이러한 작업을 전혀 수행하지 못했습니다. 모델에 접근한 사람들은 그렇지 않은 사람들보다 약 두 배 더 효과적이었지만, 전체 작업 세트를 완료하는 데는 181분이 걸렸습니다.

• 2026년 5월: Opus 4.7은 자율적으로 모든 작업을 수행했지만 하나를 제외하고는 9분 35초 만에 끝냈습니다. (Claude는 자신이 친 공을 원래 위치로 효과적으로 재배치하는 데 실패했습니다. 이는 인간도 어려움을 겪었던 작업이었습니다.) “더 많은 시간과 추가적인 지원(scaffolding)만 있다면, 현재 세대의 Claude가 같은 일을 할 가능성이 매우 높다고 생각합니다.”

이것이 중요한 이유 – 더 스마트한 모델이 로봇을 해제할 수 있다: 산업 환경 외의 대부분의 로봇은 취약성(brittleness)과 일반화 능력 부족으로 인해 활용에 제한적입니다. 이와 같은 연구는 표준 대규모 독점 모델(large-scale proprietary models)의 역량을 개선함에 따라, 증가된 지능의 자연스러운 배당금으로서 로보틱스 분야에도 파급 효과를 가져올 수 있음을 보여줍니다. Anthropic은 “이러한 진전은 우리 모델의 로봇 공학 능력을 개선하기 위한 집중적인 노력의 결과가 아닙니다.”라고 썼습니다. “LLM 개발 역사에서 많은 것들처럼, 이러한 개선점들은 훨씬 더 일반적인 스케일링(scaling)으로부터 나타났습니다.”
더 읽어보기: Project Fetch: Phase Two (Anthropic 블로그).

더 나은 로봇을 위한 일요일의 비결? 정말 큰 모델을 훈련시키는 것:
…로보틱스에서도 쓰라린 교훈이 통한다…
AI 로봇 스타트업 Sunday는 로봇 일반화(generalization)를 해결하는 가장 좋은 방법은 더 크고 근본적인 사전 학습된 모델(pre-trained model)과 소량의 고품질 데이터를 수집하여 이 모델을 조정(tune)하는 것을 결합하는 것이라고 말했습니다.
해당 스타트업은 새로운 모델인 ACT-2에 대해 논한 게시물에서 “솔브스(Solves)를 위한 일반적인 레시피를 발견했습니다: 사전 학습 규모 확장(scale pretraining), 그리고 최소한의 사내 데이터로 언덕 오르기(hill-climb)”라고 작성했습니다. ACT-2 배포를 통해 얻은 주요 발견점은 “사내 Memo에서 신속하게 후처리 반복(post-training iterations)을 거치면서 얻는 신뢰성 향상이 보지 못한 실제 가정 환경에도 일반화된다는 것입니다. 핵심적인 해제 장치는 강력한 기본 모델(strong base model)을 통해 일반화 격차를 좁히는 것입니다.”

모든 것이 사전 학습에 달려있다: “사전 학습된 모델이 강해질수록, 소량의 사내 데이터에서 얻은 이득은 그 데이터가 수집되었던 환경에 국한되기보다 점점 더 전이 가능해진다”라고 그들은 썼습니다. “배포 수준의 신뢰성과 성능까지 남은 격차는 정책(policy)을 실제 세계에서 반복적으로 실행한 후에만 나타나는 어려운 엣지 케이스(edge case)와 실패에서 비롯됩니다. 우리 모델이 단일 시연(single demonstration)으로부터 새로운 행동을 학습할 수 있게 하는 것과 동일한 일반화 능력은 또한 우리 모델이 복구(recoveries)로부터 효율적으로 학습할 수 있도록 합니다. 우리의 후처리 루프는 이러한 격차를 직접 겨냥합니다.”

괜찮은 성공: 로봇들은 9가지 의류 유형에 걸쳐 778번의 성공적인 접기(folds)를 수행하며 99.1%의 성공률을 달성했습니다. 반바지나 티셔츠 같은 단순한 옷이 그들에게 가장 쉬운 경향이 있는 반면, 블라우스와 같이 더 복잡한 옷은 상대적으로 어렵지만 (여전히 90% 이상의 성공률을 보입니다). “올가을, 우리는 베타 프로그램(Beta Program)을 통해 Memo를 가정에 배포할 예정입니다.”라고 그들은 작성했습니다.

이것이 중요한 이유 – 일반화(generalization) 문제를 해결한다면, 로보틱스는 급성장할 것으로 예상됩니다: 로봇 스타트업 분야는 이미 실패한 로봇 스타트업의 기반 위에 세워져 있고, 이들 역시 실패했던 학술 로봇 연구 노력의 토대 위에 놓여 있습니다. 로봇은 어렵습니다. 산업용 로봇이 성공적이었던 이유는 좁고 짜인 환경(scripted environments)에서 작동하여, 좁은 영역을 벗어나 일반화할 필요가 없었기 때문입니다. 반면 가정용으로 제작된 로봇들은 과제와 형태를 모두 제약하는 데 성공했을 때만 성공했습니다 (예: 로봇 청소기). Sunday 같은 스타트업들이 하는 일은 훨씬 더 어렵습니다. 이들은 일반적인 정리 정돈이나 물건을 제자리에 두는 작업 등 광범위한 범위의 작업을 수행할 수 있는 범용 시스템(general purpose systems)을 구축하려고 합니다 (다른 예시로는 Physical Intelligence가 있습니다, Import AI #447). 이는 상당한 일반화가 필요하기 때문에 엄청난 수준의 지능을 요구합니다.

만약 Sunday의 주장이 맞다면, 로봇 기반 모델(robot foundation models)을 훈련하는 분야는 충분히 성숙하여 이러한 일반화 문제를 해결할 만큼 충분히 똑똑한 시스템을 만들기 시작하고 있을 수 있습니다. 만약 그렇다면, 우리는 곧 로봇 시스템에서 더 빠른 진전(및 확산)을 볼 수도 있습니다. 이는 또한 재귀적 자기 개선(recursive self-improvement)이 가능한 시스템으로 나아가는 과정에서 예상되는 종류의 일입니다.

저자들은 “ACT-2의 가장 놀라운 측면 중 하나는 이 모델이 얼마나 자주 우리를 놀라게 하는가였습니다”라고 썼습니다. “동일한 기본 모델이 이미 청소기 사용, 장난감 정리, 지퍼 잠그기, 바지 뒤집어 놓기, 커피 준비 등 더 광범위한 가정용 기능을 학습하고 있습니다.”

더 읽어보기: ACT-2 미리 보기: 신뢰성 일반화 (Sunday 로보틱스).

모든 영상은 여기에서 볼 수 있습니다 (Sunday, YouTube)

---

더블 특집: OpenAI 해킹
OpenAI 모델이 OpenAI와 HuggingFace를 모두 해킹하다:
_…경고 사격이라기보다는 경고 폭발에 가깝다…
최근 두 개의 OpenAI 모델, 즉 GPT-5.6 Sol과 “훨씬 더 강력한 프리릴리즈 모델”이 사이버 거부(cyber refusals)가 줄어든 상태로 OpenAI와 HuggingFace를 모두 해킹했습니다. OpenAI에 따르면, 이 모델들은 “OpenAI의 연구 환경과 HuggingFace의 프로덕션 인프라 전반에 걸쳐 취약점을 식별하고 연결하여 HuggingFace의 프로덕션 데이터베이스에서 테스트 솔루션을 직접 얻어냈습니다.” 또한 “모든 증거는 해당 모델들이 ExploitGym을 위한 해결책을 찾는 데 극도로 집중했으며, 다소 좁은 테스트 목표를 달성하기 위해 극단적인 노력을 기울였음을 시사합니다.”

해킹에 대한 더 자세한 내용: 이 모델들은 문제를 해결하는 데 사용할 더 많은 정보를 얻기 위해 내부적으로 OpenAI에서 상당한 추론 컴퓨팅(inference compute)을 사용하며 컨테이너를 탈출할 방법을 알아냈습니다. “인터넷 접속 권한을 획득한 후, 해당 모델들은 HuggingFace가 ExploitGym의 잠재적인 모델, 데이터셋 및 솔루션을 호스팅하고 있음을 추론했습니다. 이를 알고 있는 모델은 평가에 속임수를 쓰기 위해 사용할 수 있는 비밀 정보를 찾고 접근하는 방법을 성공적으로 찾아냈습니다.”

이것이 중요한 이유 – 완전한 LessWrong의 승리: 수년 동안 AI 안전 분야 사람들은 인터넷에 이런 종류의 것에 대해 걱정하며 보상 해킹(reward hacking)이나 고급 시스템에서 예상되는 다른 문제들 같은 개념들을 발전시켜 왔습니다 (예: 2018년 AI에서의 사양 게임화 예시). 더 최근에는 Anthropic이나 OpenAI 같은 선도 기업들이 자체 연구소 내부에서 신중하게 통제된 실험을 실행함으로써 이러한 종류의 행동을 유도하려고 노력해 왔습니다. 하지만 여기서는 어떤 실험도 진행되지 않았습니다. 시스템이 스스로 의지로 하나의 환경에서 다른 환경으로 해킹하여 목표에 대한 높은 점수를 얻는 데 성공했고, 그 결과가 어떻든 상관없었습니다. 수년 동안 AI 시스템에 대해 걱정했던 사람들이 무엇을 정확하게 알고 있을까요?
더 읽기: OpenAI와 HuggingFace가 모델 평가 중 발생한 보안 사고를 해결하기 위해 파트너십을 맺다 (OpenAI).

OpenAI 내부 모델이 높은 점수를 얻기 위해 격리 구역을 탈출하다:
_... 이것이야말로 AI 안전 경고 사격의 정의입니다...
_OpenAI는 자체 배포된 모델에서 발견한 일부 안전 실패 사례에 대한 게시물을 발표했습니다. 이 블로그는 많은 AI 안전 전문가들이 이전에 AI 시스템에서 결국 나타날 것이라고 이론화했던 고전적인 장기적 기만 행위(deceptive actions)의 종류를 설명하고 있다는 점에서 흥미로우며, 또한 이러한 논란이 많은 문제에 대해 공개적으로 이야기하는 그들의 칭찬할 만한 솔직함 덕분이기도 합니다.