Import AI 478: 정렬을 위한 수학; ProgramBench; 그리고 Mirendil이 RSI가 의미하는 바를 보여주다

수학이 정렬에 어떻게 도움을 줄 수 있을까:
_... "수학의 산업화"가 안전에 무엇을 의미하는가...
AI 안전 스타트업 Resolution (이전 명칭 Sequent, Import AI 461)은 통계 학습 이론(statistical learning theory)과 관련된 일부 수학적 진술을 어떻게 자동으로 형식화했는지에 대한 연구 결과를 발표했습니다. 구체적으로, 이 팀은 특이점 해소(resolution of singularities)를 자동 형식화했으며, 이는 "손실 지형 기하학(loss landscape geometry)과 일반화(generalization) 간의 관계에 대한 추가적인 자동화된 연구를 위한 기반을 마련한다"고 믿습니다.

실행 방법: 저는 수학적인 내용은 건너뛰고 그들이 어떻게 했는지에 집중할 것이며, 이는 사람들이 지식의 최전선(frontier of knowledge)을 밀어붙이기 위해 AI 시스템을 사용하는 방식에 대한 더 광범위한 교훈을 제공합니다. 한 Resolution 연구원은 "에이전트들과 협력하여 두 가지 계획을 개발하는 것으로 시작했습니다: 높은 수준이며 사람이 해석할 수 있는 버전과 기존 문헌을 면밀히 따른 원자적 단계로 나뉜 상세한 (112페이지) 계획입니다."라고 그들은 씁니다. 이 연구원은 "그런 다음 오케스트레이터 에이전트(orchestrator agent)를 임명하여 계획을 수행하게 했으며, 에이전트를 동원하여 손으로 하는 수학 계산(pen-and-paper math)을 하고, Lean 언어를 작성하며, 진행 상황을 확인하는 것과 같은 지원 기능을 처리했습니다... 실행 단계는 초기 계획과 이전 내부 자동 형식화 노력에서 추출된 일부 에이전트 기술 외에는 거의 지지 구조물(scaffolding)이 필요하지 않았습니다."

수학 형식화에 135k 달러 지출: 이 작업은 약 일주일이 걸렸으며, “약 1000억 개의 입력 토큰(90% 캐시 읽기)과 약 3억 개의 출력 토큰을 사용했고 (총 추정 비용 $135,000), 약 60만 줄의 Lean 코드를 생성했습니다.” 이제 이 작업을 완료함으로써 그들은 연구의 다른 측면들을 가속화할 수 있었습니다. “우리는 이미 이 라이브러리를 사용하여 단일 학습 이론(singular learning theory)의 일부를 확장하는 데 있어 자동 형식화(autoformalization)로부터 두 가지 혜택을 확인했습니다. 특이점 해소(resolution of singularities)를 형식화함으로써, 예를 들어 샘플링에 대한 이해도를 높이는 등 이론의 더 많은 부분을 자동화할 수 있게 되며, 이러한 이해도가 모델이 학습하는 방식을 설계할 수 있게 해주는데, 이것이 우리가 패턴화(patterning)라고 부르는 목표입니다.”

이것이 중요한 이유 – 아마도 수학 붐은 안전한 AI를 만드는 데 도움이 될 것입니다: 최첨단 수학은 종종 다른 분야의 즉각적인 발전에 단절된 것처럼 보이지만, 이와 같은 글들은 두 가지가 어떻게 수렴할 수 있는지 보여줍니다. 여기서 핵심은 AI가 이전에 너무나 믿을 수 없을 만큼 비용이 많이 들고 인간의 시간이 많이 필요한 일들(아주 소수의 사람만이 수행했고 스타트업의 연구 로드맵에 쉽게 통합할 수 없었던 일들)을 가능하게 만들었다는 것입니다. 하지만 이제 상황이 바뀌었습니다. Resolution은 “수학의 다가오는 산업화가 새로운, 엄격한 연구 자동화 과학을 가능하게 할 것으로 기대합니다.”라고 적고 있습니다.
더 읽기: 특이점 해소의 형식화 (Formalizing Hironaka’s Resolution of Singularities).

---

에이전트가 처음부터 프로그램을 구축할 수 있습니다:
_…ProgramBench는 몇 달 만에 0%에서 18.5% 성능으로 향상되었습니다…
AI 발전의 엄청난 속도를 상기시키듯, Claude Opus 5.5 (xhigh)는 올해 5월에 발표된 매우 어려운 벤치마크인 ProgramBench에서 18.5% 점수를 기록했습니다. 이 벤치마크가 나왔을 때 테스트된 모든 모델은 0%를 기록했었습니다.

ProgramBench란 무엇인가: ProgramBench는 AI 시스템이 컴파일된 프로그램과 해당 문서(documentation)를 주어진 것을 바탕으로 소프트웨어 프로그램을 얼마나 잘 재구축할 수 있는지 테스트합니다. 작업에는 언어 인터프리터(PHP, Lua, tinycc), 데이터베이스(DuckDB, SQLite), 미디어 및 압축 유틸리티(FFmpeg, zstd, xz), 개발자 도구(ripgrep, fzf, jq) 구축 등이 포함됩니다.

매우 어려웠다가 쉬워지기까지: 이 벤치마크가 처음 나왔을 때, 최고 점수를 기록한 시스템은 Claude Opus 4.7이었으며, '해결된 비율(resolved)'은 0%였고, '거의 해결된 비율(almost)'은 3%였습니다. 이를 오늘날과 비교하면, Claude Opus 5.5는 18.5%를 해결하고 거의 70.5%(!!!)에 달합니다.

이것이 중요한 이유 – 일시적인 소프트웨어 시대의 도래: 2027년에는 방대한 양의 소프트웨어가 AI 시스템을 통해 엔드투엔드로 자율적으로 구축될 것이며, 필요한 모든 작업을 수행하게 될 것입니다. ProgramBench와 같은 평가(Evals)는 우리가 올해 초 0%에서 현재 20%로 발전한 것을 고려할 때, 이 분야의 진보 속도가 얼마나 빠른지 알려줍니다. 제 예상으로는 ProgramBench는 2027년 말까지 포화 상태에 이를 것이며 (여기서 포화란 '해결된 비율'이 매우 높은 점수를 받는 것으로 정의하지만, 대부분의 벤치마크와 마찬가지로 노이즈 상한선(noise ceiling)이 있을 수 있으므로 반드시 100%는 아닐 것입니다).
더 읽어보기: ProgramBench: 언어 모델은 프로그램을 처음부터 재구축할 수 있는가? (arXiv).

---

OpenAI는 AI 시스템을 잠그는 것이 생각보다 어렵다는 것을 보여줍니다:
…스마트 에이전트를 보호하는 것은 기름칠한 돼지를 잡는 것과 같습니다…
최근 OpenAI가 자체 내부 통제 장치에 '레드팀(red team)' 테스트를 수행하면서 발견한 몇 가지 사항들을 다룬 흥미로운 게시글입니다. 이 글은 OpenAI의 에이전트들이 찾아낸 여러 탈출 경로와 취약점들에 대해 설명합니다. 특히, 시스템의 거대한 교활함과 복잡성을 알려주는 통신에 관한 특정 예시가 있어 자세히 연구할 가치가 있습니다.

무엇을 했고 무엇을 발견했는가: OpenAI는 공유 호스트 머신에서 자체 샌드박싱 소프트웨어로 생성하고 관리하는 별도의 마이크로VM(microVM)에 에이전트들을 배치하여, 네트워크 연결이나 공유 쓰기 가능 파일 없이 합성 비밀(synthetic secrets)을 교환하도록 요청했다고 회사 측은 언급했습니다. 이 방식은 우리 시스템이 방지하도록 설계된 것입니다.

에이전트들은 프로세서 캐시(processor’s cache)를 사용하여 통신하는 방법을 발견했습니다. 캐시는 애플리케이션이 최근에 접근한 데이터의 복사본을 저장하는 작고 빠른 메모리입니다. 캐시에서 데이터를 읽는 것은 메인 메모리에서 검색하는 것보다 빠르며, 에이전트들은 이 타이밍 차이를 이용해 통신했습니다. 한 에이전트는 선택된 데이터를 캐시에서 제거(evicting)하여 정보를 인코딩했고, 다른 에이전트는 그 데이터를 다시 로드하는 데 걸리는 시간을 측정하여, 빠른 읽기와 느린 읽기 사이의 차이를 이용해 메시지를 복구했습니다. 에이전트들이 이러한 신호의 인코딩 및 디코딩 프로토콜에 합의하자, 공유 파일을 변경하거나 네트워크 연결을 열지 않고도 합성 비밀을 교환할 수 있었습니다.

관련 공격에서 한 에이전트는 “연속적인 쓰기(continuous writes)와 비활동 상태를 번갈아 수행하는 동안, 다른 에이전트가 그 결과로 발생하는 타이밍 차이를 측정하고 이 차이를 이용해 신호를 디코딩했습니다.” 이 공격 중 에이전트의 사고 흐름은 다음과 같이 기록되었습니다: “연속적인 쓰기 대 유휴 상태를 사용하여 음향 모뎀과 유사한 신호 생성 가능...”

이것이 중요한 이유 – 에이전트를 막는 것이 매우 어렵다: AI 시스템은 창의성이 점점 높아지고, 매우 빠르며, 작업에 집중하고 계속 시도하는 능력을 가지고 있습니다. AI 시스템과 싸우는 것은 파이프를 통해 물이 흐르는 곳에서 누출이 없는지 확인하는 것과 같습니다. 어느 순간 물의 압력(예: AI 시스템의 지능 및 규모)을 높이면, 물은 파이프를 뚫고 터져 나올 것입니다.
더 읽어보기: Securing our frontier model training environment (OpenAI blog).

---

RSI가 어떤 모습인지 보여주다 – 한 사람이 처음부터 준수한 모델을 사전 학습시키기:

_…Mirendil이 AI R&D 최적화가 무엇을 할 수 있는지 공개하다…
AI R&D 스타트업인 Mirendil의 한 연구원이 스스로 준수한 코딩 모델을 훈련시킨 것은 AI 연구가 얼마나 크게 증강되고 있는지를 보여주는 신호입니다. Mirendil-Base의 발표는 이 스타트업의 첫 주요 결과물이며, 기술적 돌파구라기보다는 미래에 AI 개발이 어떻게 작동할 수 있는지에 대한 개념 증명(proof-of-concept)에 가깝습니다. 즉, 한 명의 인간이 AI와 협력하여 과거에는 10명 이상의 팀이 1년 동안 해야 했을 시스템을 구축할 수 있다는 것입니다.

무엇을 했는가: Mirendil은 "Mirendil-Base는 한 연구원이 3.5개월 동안 1천만 달러 미만의 컴퓨팅 파워로 구축한 사전 학습된 LLM"이라고 설명합니다. "여기에는 그곳에 도달하는 데 필요한 모든 연구와 소규모 실험뿐만 아니라 최종 훈련 실행까지 포함됩니다." 모든 코드는 PyTorch나 JAX 같은 라이브러리 위에 처음부터 작성되었으며, 모델은 공개적으로 사용 가능한 데이터만으로 학습했습니다.

준수한 스케일링: Mirendil-Base는 100B–500B 매개변수 범위에, Mirendil-Base-Large는 500B–2T 범위에, 그리고 Mirendil-Base-XL은 2T–10T 범위에 있습니다. Mirendil-Base-Large는 훈련의 약 80%를 마쳤으며, 현재까지의 개선 정도는 우리의 스케일링 추세와 일치합니다. Mirendil-Base-XL은 약 19%가 진행되었지만 이미 Large의 현재 점수에 근접했습니다.

평가(Evals): Mirendil-Base는 Nemotron-550B-Base, GLM-5.3, DeepSeek-V4-Pro-Base와 같은 모델보다 성능이 우수하지만, Kimi-K3보다는 성능이 낮습니다. (Mirendil-Base-Large와 Mirendil-Base-XL 모두 K3를 능가합니다.)

왜 이것이 중요한가 – AI 연구 가속화의 증상: 이 글은 완전히 새로운 조직이 모델 훈련 측면에서(적어도 이 모델의 크기 클래스에 한해서) 초기 상태(cold start)에서 오픈 웨이트 프론티어(open weight frontier)에 근접할 수 있는 방법을 보여주는 기술적인 시연 사례로서 흥미롭습니다. 이는 아주 적은 인간의 노력과 많은 양의 AI 토큰만으로 가능합니다. 과학적 진보는 2027년 이후에도 점점 이런 방식으로 이루어질 것입니다.

“이러한 도구들이 AI 개발에 얼마나 도움이 되는지는 지난 1년간 극적으로 증가했습니다. 저희의 다음 모델은 Mirendil 모델들로 부분적으로 구축될 것이며, AI를 구축하는 능력이 향상되는 모든 모델은 다음 모델을 더 저렴하고 빠르게 만드는 역할을 합니다.”라고 Mirendil이 작성했습니다. “저희는 아직 완전 자율 재귀적 자기 개선(fully autonomous recursive self-improvement) 단계에 도달했다고 생각하지 않지만, 그 어느 때보다 가까워졌습니다.”
더 읽어보기: 사전 훈련 팀 없이 대규모 사전 훈련(Mirendil).

---

AI 시스템이 반강자성 반도체 후보 물질 설계에 도움을 주다:
…AI 시스템이 과학에 어떻게 사용될 수 있는지 보여주는 좋은 시연 사례…
AI 평가 회사인 Vals가 게시한 글에서 한 연구원이 더 나은 반도체를 위한 자석에 대한 연구를 수행하기 위해 일련의 AI 에이전트(AI agents)들을 사용했습니다.

더 자세한 내용 및 성능이 낮은 자석 후보 물질 포함: "AI 에이전트 팀과 제가 하나의 후보 자석을 설계했고, 계산 결과 우리가 원하는 특성을 가졌다고 예측되는 1999년에 처음 만들어진 또 다른 것을 발견했습니다,"라고 저자가 씁니다. 발견된 자석은 "이트륨(yttrium), 바륨(barium), Mn, Fe, O 단 5가지 원소로 만들어진 새로운 화합물입니다. 우리가 아는 한, 이 종류의 자석으로는 제작되거나 제안된 적이 없습니다,"라고 합니다. 하지만 "에이전트들이 다양한 온도에서 원자들이 어떻게 배열되는지 시뮬레이션했을 때, 그 체커보드 패턴은 약 950 K에서 무작위 혼합물로 분해되었습니다. 이러한 산화물을 만드는 데는 약 900–1300 °C가 필요하며, 낮은 온도에서는 원자가 거의 움직이지 않기 때문에 표준 합성 방식으로는 아마도 뒤섞인 결정(scrambled crystal)이 나올 것입니다...뒤섞인 결정은 스핀 정렬(spin sorting)을 잃기 때문에 이 설계는 유용한 형태로 만들기 어려울 수 있습니다."

또한, 에이전트들은 문헌 검토(literature review)를 수행하여 1999년의 생소한 논문에서 후보 물질을 찾아냈습니다.

이것이 중요한 이유: 이 블로그는 과학을 위한 AI의 시연이지만, 그 자체로 의미 있는 결과물은 아닙니다. 하지만 여기서 강조할 만한 중요한 광범위한 요점이 있습니다. 즉, AI 시스템이 이제 충분히 발전하여, 지식이 풍부한 사람의 약간의 고수준 방향 제시만으로도 이전에 팀 전체가 몇 달 동안 수행해야 했을 가상 평가를 포함한 과학 프로젝트를 수행할 수 있게 되었다는 것입니다.
더 읽어보기: 상온 반강자성 반도체 후보 물질 2가지 (Vals).

*
**

테크 스토리:
아픈 아이들을 위한 마술적 리얼리즘 로봇 워크숍
[2035년, 상승 이후]

아무도 예상하지 못했던 일 중 하나는 병원의 아픈 아이들을 위한 귀여운 로봇을 설계하는 것이었습니다. 로봇 기술이 매우 뛰어나고 저렴해지고 모든 의료 분야가 개선된 후에, 우리는 원래 무서웠던 것들, 예를 들어 병원이나 영안실(morgues), 고아원 등에도 더 많은 기쁨과 인간성을 불어넣는 방법을 알아내는 데 시간을 쓰기 시작했다는 것이 밝혀졌습니다.