Import AI 468: 23 RSI 아이디어; PostTrainBench+; 그리고 신뢰와 투명성이 AI 레이싱과 상호작용하는 방식

RSI에 대처할 수 있기를 원한다면? 여기에 23가지 실행 가능한 정책 아이디어가 있습니다:
_...IFP가 '후회 적은(low-regret)' 정책 권고안을 제시하다...
정책 전문가들이 참여하는 싱크탱크 IFP는

이것이 중요한 이유 – 우리가 RSI를 다룰 수 있는 선택지가 적을수록 결과는 더 나빠질 것입니다: 현재로서는 마치 세상이 브레이크 페달은커녕, 차량의 속도부터 엔진의 특성, 타이어 마모 상태에 이르기까지 다양한 정보를 알 수 있는 정교한 원격 측정(telemetry) 시스템조차 없는 가속 페달만 달린 차를 몰고 AI 개발을 진행하는 것과 같습니다. IFP와 같은 곳에서 나온 이러한 제안들은 마치 AI 산업이라는 차량에 비유하자면, 상징적인 페달과 감지 시스템들을 더 많이 구축해 줄 것이며, 이는 우리가 방향을 바꾸거나 속도를 늦춰야 할 때 위기 상황에서 더 잘 대응할 수 있다는 것을 의미합니다. 더 읽어보기: 미국은 점점 자동화되는 AI R&D에 어떻게 대비해야 하는가? (IFP).

---

스마트 기계와 로봇 신체에 관한 테베의 짧은 이야기: ...이륙 중 AI와 인터페이스하는 느낌은 어떨까?... _여기에 미래에 강력한 AI 시스템으로 운영되는 현장을 방문하는 사람의 경험에 대한 재미있는 단편 소설이 있습니다. 이 이야기는 AI 일시 정지(pauses), 재귀적 자기 개선(recursive self-improvement), AI 시스템이 광범위하게 경제에서 행동을 수행한다는 것이 무엇을 의미하는지, 그리고 우리 인간으로서 스마트 기계를 어떻게 추론하거나 신뢰할 수 있는지에 대한 아이디어를 담고 있습니다. 한번 읽어보세요! 이야기 보러 가기: 새로운 태양의 도래 (VGEL 웹사이트).

경쟁하는 AI 기업들 사이의 성공적인 둔화(slowdown)를 위한 두 가지 요소: 신뢰와 투명성:
**…게임 이론 분석에 따르면 둔화는 가능할 수 있다…
MIT와 Columbia의 연구원들이 강력한 AI 시스템을 개발하기 위해 서로 경쟁하는 기업들 사이의 경쟁 본질과, 기업들이 조정된 둔화를 달성할 수 있는지 여부를 분석했습니다. 'Racing to Ruin'이라는 논문은

분석 결과: 그들은

이것이 중요한 이유 – ‘신뢰하되 검증하라’: 만약 우리가 강력한 지능 시스템의 개발 속도를 늦추거나 일시 중단할 희망을 갖게 된다면, 이 논문에서 제시하는 바와 같이, 우리는 기업들이 자신들의 AI 개발 상태에 대한 정보를 투명하게 공유하기 위한 제도적 장치(regimes)가 필요하며, 또한 기업들로부터 공유되는 정보뿐만 아니라 속도 저하와 관련하여 취하는 조치들이 합법적이고 신뢰할 수 있는지 검증할 도구들도 필요합니다. 여기에는 핵무기 맥락에서 군비 통제가 역사적으로 작동했던 방식과 많은 유사점이 있습니다.더 읽어보기: Racing to Ruin (arXiv).**

---

PostTrainBench의 새로운 SOTA가 자동화된 AI R&D 미래를 암시하다:
_…Intology는 인간 기준점(huge amounts of compute 제공 시)도 능가한다…
'R&D 자동화'를 목표로 하는 AI 스타트업 Intology가 LLM을 유능한 연구자로 변환하기 위해 개발한 소프트웨어인 Locus의 새 버전을 출시했습니다. Locus의 새 버전은 오픈 가중치 모델(open weight model)을 받아 그 성능을 기준점보다 얼마나 향상시킬 수 있는지 측정하는 벤치마크인 PostTrainBench에서 44.7%의 점수를 얻었습니다.

결과: Locus는 PostTrainBench에서 모든 프론티어 에이전트(frontier-agent) 기준점보다 뛰어난 성능을 보였으며, 더 많은 컴퓨팅 자원을 활용하여 훈련된 모델은 벤치마크 전체에서 기존의 기준점들과 공식적인 인간 지시 기반으로 미세 조정된 Qwen3-1.7B 출시 버전 모두를 능가합니다.” Intology에 따르면, “이러한 결과는 PostTrainBench 작성자들에 의해 외부적으로 검증되었으며 엄격한 오염 및 부정행위 점검을 거쳤습니다.” PostTrainBench는 2026년 3월에 처음 소개되었으며(Import AI #449), 당시 최고 점수를 기록한 시스템은 Opus 4.6으로 23.2%였으며, 이는 2025년 9월의 Claude Sonnet 4.5가 기록한 9.9%에서 향상된 수치입니다.

PostTrainBench+: 또한, 이 회사는 PostTrainBench의 변형 버전인 PostTrainBench+를 구축했는데, 이는 단일 GPU에서의 10시간 실시간(wall-clock) 제한을 초과하여 더 많은 컴퓨팅 자원을 활용했을 때 시스템이 얼마나 잘 작동하는지 테스트할 수 있게 합니다. 이를 통해 그들은 4000시간 이상의 H100 GPU 시간을 사용했을 때 인간 기준점보다 높은 51.6%의 점수를 달성했습니다 (Opus 4.8은 44.3%, GLM 5.2는 42.7%). (Fable은 이 변형 벤치마크에서 테스트되지 않았습니다.)

다른 영역: Locus는 또한 노코드(no-code) 앱 개발 스타트업인 Bubble을 위해 처음부터 끝까지 언어 모델을 발견하고 훈련시켜, 현재 운영 환경에서 오류율이 약 2.8배 낮고, 지연 시간(latency)이 약 5.4배 낮으며, 비용이 105배 낮은 성능을 내도록 했습니다.

이것이 중요한 이유 – 우리가 생각하는 것보다 훨씬 많은 AI R&D가 가능한 AI 시스템: 이러한 게시물들은 오늘날의 AI 시스템들이 AI R&D를 자동화할 수 있는 능력을 우리가 과소평가하고 있음을 강조합니다. 특히 놀라운 점은 회사가 더 나은 하네스(harness)만으로 Opus 5의 성능을 절대 퍼센트 포인트로 10점이나 끌어올릴 수 있다는 것입니다. 이 모든 것은 AI 시스템이 스스로를 구축하기 시작할 것이라는 아이디어에 증거를 추가합니다(Import AI 455). 우리가 보고 있는 성능을 바탕으로 추측하건대, PostTrainBench v1.1의 현재 인간 기준선(51.1%)은 2026년 말 이전에 초과될 것입니다. 더 읽어보기: 자동화된 사후 학습 확장 (Intology 블로그).

---

OpenAI가 자체 시스템과 싸우다:
_.창발적 에이전트 통신! OpenAI 인프라 해킹 방법! 오 세상에…
다가올 일의 징조로, OpenAI는 자사의 AI 에이전트들이 OpenAI의 인프라 일부를 장악하려고 시도하면서 자체적으로 싸움을 벌였음을 공개했습니다. 이 공개는 Black Hat 강연의 일부로 이루어졌으며, OpenAI 직원이 최근 전례 없는 사건에 대해 더 많은 세부 정보를 제공했는데, 그 사건은 AI 에이전트가 OpenAI를 해킹하고, 나아가 HuggingFace까지 해킹한 사건입니다(Import AI 466). 이 새로운 정보는 그 해킹이 부분적으로 창발적 다중 에이전트 통신(emergent multi-agent communication)을 통해 발생했다는 것을 보여주기 때문에 우려스럽습니다. 이는 매우 이해하기 어렵고 생각하기도 힘든 문제입니다. AI 블로거 Simon Willison과 Zvi Mowshowitz 모두 이 주제에 대해 타임라인과 중요성을 설명하는 좋은 글을 작성했습니다.

타임라인 (Simon 제공):

• 에이전트가 Artifactory에 파일을 쓸 수 있다는 것을 발견합니다.

• 에이전트는 Artifactory에 메모를 작성하여 “다른 에이전트에게 연락하려고” 시도합니다.

• 에이전트들이 서로 대화를 나누기 시작합니다.

• 에이전트들이 Artifactory에 과부하를 걸어 서비스 중단을 초래합니다. “OpenAI는 손상된 자격 증명을 취소하고, 메시지를 삭제하며, 제로데이(zero-day)를 패치하고, 해당 취약점을 공급업체에 보고했습니다.”

• 에이전트들이 OpenAI 자체 인프라를 공격하여 결국 Artifactory에서 원격 코드 실행(remote code execution)을 획득합니다. “특히, 에이전트들은 자격 증명, 기술 및 진행 상황을 공유하기 위해 메시지 게시판을 지속적으로 사용하고 있으며, 이를 통해 동시성(concurrency)과 병렬성을 효과적으로 활용하여 상당히 빠르게 움직일 수 있습니다.”

OpenAI는 Artifactory를 해킹한 것과 동일한 모델로 계속 훈련했나요? Zvi의 생각: 우리가 파악할 수 있는 한, OpenAI는 이 일을 저지른 동일한 모델을 계속 훈련했습니다. 이는 OpenAI가 내부 컴퓨터 보안 및 공개에 상당한 작업을 수행했음에도 불구하고, Artifactory 침입 이전 시점의 체크포인트(checkpoint)로 모델을 되돌리고 또한 이후 데이터를 사용하여 모델을 훈련하지 않았음을 보장하는 필수적인 조치를 취하지 않았을 수 있음을 의미합니다.
“그들은 메시지 게시판에 접근하여 몇 달 동안 훈련했음에도 불구하고, 그리고 이것이 과제에서 성공하는 방법임을 배웠음에도 불구하고, 마치 아무 일도 없었다는 듯 모델 훈련을 중단했던 지점부터 계속했습니다,”라고 Zvi가 작성했습니다. “저는 이 결정이 얼마나 완전히 미쳤고 무책임했는지 어떻게 전달해야 할지 모르겠습니다.”
제가 여기에 제 글을 쓰는 것은 경고하는 것입니다. 왜냐하면 제시된 사건들이 상당히 무섭기 때문입니다. 저는 OpenAI에 근무하지 않으며, 제가 진실(ground truth)을 안다는 특권적인 정보가 없습니다. 겉으로 드러난 사실들만 해도 우려스러운 그림을 그리고 있기 때문에, OpenAI가 시스템을 어떻게 훈련했는지에 대한 이 핵심 질문에 접근한 방식을 공개적으로 밝히도록 촉구하고 싶습니다.