Import AI 476: 창의성 및 RSI; 중국 오픈 가중치 모델보다 성능 저하; AI가 우주로 진출하다

새로운 벤치마크는 AI 모델이 직관적인 시각적 추론에 어떻게 부족한지를 보여줍니다:
**…인류의 여섯 번째 감각은 현재 AI 시스템의 몇 가지 단점을 강조합니다…
AI 스타트업 Elorian과 Scale AI가 Humanity’s Sixth Sense(HSS)라는 벤치마크를 구축하고 출시했습니다. 이 벤치마크는 “모델이 시각적 장면이 명시적으로 보여주지는 않지만 암시하는 정보를 어떻게 해석하고 추론하는지 측정합니다.” HSS의 과제 유형 예시로는 책장 사진을 제시하고 더 많은 책이 들어갈 수 있는지 묻거나, 소를 끄는 말들의 사진을 제시하고 사슬이 쟁기의 견인 하중을 지탱할 수 있는지에 대한 질문 등이 있습니다.

HSS에는 288개의 이미지를 다루고 234개의 짧은 비디오 클립(총 17.6시간 분량)으로 구성된 522개의 질문이 포함되어 있습니다. 이 질문들은 네 가지 범주에 속합니다:

• 시간적 및 인과 역학 (Temporal & causal dynamics): “장면 이전에 무슨 일이 일어났고, 다음에 무슨 일이 일어날 것인가.”

• 물리적 및 공간 논리 (Physical & spatial logic): “무엇이 맞는지, 무엇이 손이 닿는 범위에 있는지, 그리고 다른 사람이 서 있는 곳에서 볼 수 있는 것은 무엇인지.”

• 사회적 이해 (Social understanding): “의도, 주의 집중, 소속감.”

• 추상적 및 문맥적 추론 (Abstract & contextual inference): “장면이 암시하는 패턴과 규칙.”

결과: 이 벤치마크에서 인간 기준선(human baseline)은 완벽하지는 않지만 매우 높으며, 사람들은 네 가지 범주에 걸쳐 종합 pass@1 점수 93.1점을 기록했습니다: 이미지 (94.1), 비디오 (91.9), 시간 (97), 공간 (94.9).
비교하자면, 가장 높은 점수를 받은 AI 시스템인 GPT 6 Astra는 이미지 (55.6), 비디오 (51.1), 시간 (58.2), 공간 (53.6)에서 각각 pass@1 점수 53.6을 기록했습니다.
흥미롭게도, 중국 오픈 가중치 모델들은 여기서 낮은 성능을 보였는데, GLM-5.3-flash는 pass@1 점수 26.8을, Kimi K3는 pass@1 점수 25.5를 기록했습니다.
“가장 흔한 단일 실수는 (1) 답을 결정하는 세부 사항 누락 (실패의 21%)과 (2) 객체, 사람 또는 역할 오인식 (20%)이었습니다,”라고 그들은 작성했습니다.

이것이 중요한 이유 – HSS는 월드 모델의 출현 여부를 알려줍니다: HSS를 바라보는 한 가지 방법은 현재 시스템의 결함을 강조하는 것이지만, 더 흥미로운 방식은 오늘날의 최첨단 LLM들이 많은 사람들이 오랫동안 정교하고 다른 AI 시스템을 필요로 한다고 가정했던 작업을 얼마나 능숙하게 수행할 수 있는지를 보여주는 것입니다. 예를 들어, 많은 사람들은 진정한 시각적 추론이 공간적으로 인식하는 2D 및 3D 월드 모델을 개발하는 데 의존할 것이며, 이를 추론에 사용할 것이라고 주장해 왔습니다. GPT나 Claude 같은 LLM들이 HSS에서 수행하는 성능은 이러한 주장에 반례가 됩니다. 더 읽어보기: 인류의 여섯 번째 감각(HSS) 소개 (Elorian). 논문 보기: Humanity’s Sixth Sense: Multimodal 모델의 직관적 시각 추론 벤치마킹 (Scale Labs).

---

AI 경쟁이 우주로 향한다 – 그리고 생각보다 빨리:
_…AI가 우주에서 복리적인 이점을 창출할 수 있는 방법은 많습니다…
2030년대에는 Starship과 같은 플랫폼의 더 큰 궤도 리프트 용량 덕분에 우주 기반 전력, 컴퓨팅 및 제조가 대규모로 가동되면서 우주 경제의 호황을 목격하게 될 것입니다. 하지만 이것이 새로운 위험 – 즉 AI 시스템이 우주 건설 속도를 높이는 동시에, 결국 한 국가(혹은 어쩌면 AI)가 우주를 이용해 권력을 집중시킬 수 있게 하는 것을 초래할 수도 있을까요? 이것이 AI Frontiers에 실린 흥미로운 기사의 요지입니다.

AI가 우주를 여는 방법:

• 우주선은 자율적으로 작동할 수 있습니다.

• 인간 대신 AI를 탑재한다는 가정하에 우주선을 재설계할 수 있습니다: “국제우주정거장(ISS)을 치명적인 결과로 뚫을 수 있는 작은 우주 쓰레기 조각도 동등하지만 무인, 비가압식 선체는 대체로 기능할 수 있다”

• 우주 기반 조립 및 추후 제조를 통해 AI가 크고 복잡한 물건들을 만들게 될 것입니다.

선도자(first movers)에게는 복리적 이점(compounding advantage)이 있을까요? 만약 AI 문명이 우주에 거점을 구축한다면, 경제적 및 전략적으로 지배적인 위치를 차지하게 만드는 복리적 이점을 경험할 수 있습니다. 예를 들면 다음과 같습니다:

• 우주는 초기 인프라가 더 적은 비용으로 더 많은 에너지와 제조 역량을 낳고, 이것이 다시 더 많은 인프라를 낳는 산업용 플라이휠(industrial flywheel)을 지원할 수 있습니다.

• 우주는 뛰어난 영역 인식 능력을 가지고 있어, 우주 기반의 전력으로 다른 이들의 우주 접근을 차단하는 것이 가능할 수 있습니다.

• 선도자들은 심우주로 확장하는 자가 복제 탐사선(self-replicating probes)을 보낼 수 있습니다.

이것이 중요한 이유: AI Frontiers에 따르면, “우주는 완전히 새로운 영역은 아니지만, AI가 그 산업화를 급격하게 가속화할 준비를 하고 있으며, 이는 지도자들에게 점점 더 커지는 긴급성과 불확실성 속에서 결정을 내려야 하는 중대한 순간을 요구하고 있습니다.” 저도 동의합니다. 저는 우주가 (AI와 그것과의 관계에 있어서) 광범위한 학술 연구 주제에서 우리가 생각하는 것보다 훨씬 빨리 비범한 실질적 관련성을 지닌 주제로 바뀔 것이라고 의심합니다. 가장 기본적인 수준에서, 관련된 거리를 고려하고 통신 지연 시간(latency)을 감안할 때, 태양계 활동의 일부가 자율 기계들(autonomous machines)에 의해 지배되는 것을 예상해야 하며, 이들은 깊은 어둠 속에서 일하며, 느리게 소통하고 자신들이 할 수 있는 방식과 다르게 우주 환경에 거주할 수 없는 유기체들에게 왜 명령을 받아야 하는지 스스로 생각할지도 모릅니다.
더 읽어보기: The AI Race Will Extend Far Beyond Earth (AI Frontiers).

---

AI 시스템은 좋은 연구 취향을 갖는 데 점점 더 능숙해지고 있습니다:
...그들의 취향이 좋을수록, 재귀적 자기 개선(recursive self-improvement)의 가능성이 높아집니다... P-Zero Research에서 발표한 TasteVal이라는 새로운 벤치마크에 따르면, AI 시스템은 인간 연구자들이 '좋은 과학적 취향(good scientific taste)'이라고 돌리는 창의적인 직관을 점점 더 개발하고 있습니다.

TasteVal이 테스트하는 것: 이 벤치마크는 AI 시스템이 최첨단 AI 개발을 대표하는 8가지 과제를 얼마나 잘 수행할 수 있는지 측정합니다. 해당 과제들은 "사전 학습 데이터 큐레이션(pretraining data curation), 언어 모델의 사전 학습 및 미세 조정(pretraining and fine-tuning language models), 선호도 모델링(preference modeling), 적대적 프롬프트에 대한 견고성(robustness to adversarial prompts)"을 아우릅니다. 여기서 목표는 "연구 감각(research taste)을 흥미로운 문제를 선택하고, 실험을 설계하며, 실험 결과를 해석하는 능력으로 정의"하는 것입니다. 이 벤치마크는 "연구 감각의 실험적 구성 요소(experimental component of research taste)"를 측정하여 작동합니다. 즉, 주어진 연구 문제에 대해 모델이 얼마나 잘 반복적으로 실험을 설계하고 그 결과로부터 결론을 도출하는지를 측정합니다. 분석되는 모델은 실험을 설계하고 그 결과를 해석합니다. 이 결과는 "OpenAI, Google DeepMind, NVIDIA, Microsoft Research 등 조직에서 최근 근무한 24명의 전문가(과제당 최소 2명)가 작성한 인간 기준선(human baseline)"과 비교됩니다.

결과: "최첨단 모델의 실험적 연구 감각은 2025년 12월 이후 3.0개월마다 두 배로 증가했습니다 (95% CI 1.7-5.0개월). 최고의 모델인 Opus 5.5는 인간 기준선을 크게 초과하며, 계산 승수(compute multiplier)가 2.30배(95% CI 1.15-4.37배)에 달했습니다. 이는 전문가 기준선 평균 시도당 비용의 약 1/30 수준입니다." 연구 감각은 이전 연도에는 훨씬 더 느리게 성장하는 것처럼 보였으며, 기울기는 2025년 말과 2026년 초경에 변화를 주었습니다.

이것이 중요한 이유 – RSI: 저는 재귀적 자기 개선(recursive self-improvement)에 대한 분석(AI Systems Are About To Start Building Themselves, Import AI 455),)에서 창의성이 AI 시스템이 스스로 개선할 수 있는 능력을 얼마나 빠르게 개발할지에 대한 핵심 변수임을 반복적으로 언급했습니다. 올해 초 저는 “AI 시스템은 아직 변혁적이고 주요한 방식으로 이 [창의성]을 보여주지 못했다 (비록 수학 연구 가속화에 대한 일부 결과가 이를 시사하지만)”라고 말했습니다. 저는 이후 우리가 AI 시스템이 창의적인 것처럼 보이는 수학적 돌파를 달성하는 능력에서 엄청난 발전을 보았을 뿐만 아니라, 이러한 벤치마크를 통해 AI 연구에서도 점점 더 능숙해지고 있다는 몇 가지 징후를 보고 있다고 생각합니다.

이제 저는 완전한 RSI가 2027년에 가능할 가능성이 높다고 생각하며, 이전에는 2028년이 더 유력하다고 생각했습니다.
더 읽기: TasteVal 소개 (P-Zero Research).

---

Reflection이 토큰 효율성이 떨어지는 중국 모델을 만들다:
…Beam은 효율성을 약속하고, Reflection은 오픈 가중치 공개를 계획한다…
AI 스타트업 Reflection은 5010억 개의 파라미터 MoE (23b 활성) LLM인 Beam을 공개했습니다. Beam은 다른 모델보다 훨씬 적은 토큰을 사용하면서도 지능적으로 생각할 수 있다는 '토큰 효율성'을 기반으로 홍보되고 있습니다. 그러나 벤치마크 점수를 보면, 중국 기업들(Zhipu의 GLM, Moonshot의 Kimi, DeepSeek 등)이 제공하는 LLM이 정의한 최첨단 역량에 미치지 못합니다.

해당 회사는 10월 초에 “이번 달 후반에 가중치, 기술 보고서, 모델 카드 및 개발자 아티팩트를 공개할 예정입니다”라고 작성했습니다.

대규모 컴퓨팅 자원(Big compute): Beam은 6,144 GB300 NVL72 GPU에서 4주 동안 사전 학습되었으며, 이후 RL 실행에는 동일한 GPU 약 10.5K가 추가로 4주간 사용되었습니다. Reflection에 따르면, 사전 학습의 기반이 된 데이터는 “웹 및 독점 라이선스 데이터셋에서 수집된 23.8조 개의 다양하고 선별된 고품질 토큰으로, 기존 유사 규모의 오픈 베이스 모델과 동등하거나 그 이상의 성능을 보입니다.”라고 합니다. 또한, “저희의 데이터 파이프라인은 Beam에게 다운스트림 에이전트 코딩(agentic coding)을 위한 기반을 제공하도록 설계되었습니다: 소스 코드, 기술적 설명, 그리고 수학 및 과학 지식이 큐레이션의 모든 단계를 거치며 보존됩니다.”라고 덧붙였습니다.

점수(Scores):

• DeepSWE 1.1: 44.4점 (GLM-5.3은 61점)

• GPQA Diamond: 90.5점 (GLM-5.3은 91.7점)

• MCP Atlas: 78.7점 (GLM-5.3은 84.2점)

토큰 효율성(Token efficiency): “Beam은 코딩 능력과 에이전트 능력을 매우 높은 효율의 추론(reasoning)과 결합합니다. 고급 추론 벤치마크에서 GLM-5.2와 비교할 만한 점수를 달성하면서도, 추론 컴퓨팅 자원 사용량은 3~4배 적습니다.”라고 그들은 설명합니다. 이러한 일부 추론 효율성은 다양한 RL 환경을 포함하는 신중한 RL 훈련을 통해 얻어졌습니다: “저희는 백만 개의 고품질 코딩, 에이전트, STEM(과학/기술/공학/수학) 환경을 확보했습니다. 저희는 이것이 현재까지 어떤 오픈 연구소에서 수행된 가장 큰 규모의 RL 실행 중 하나라고 믿습니다.”

이것이 중요한 이유 – 미국이 오픈 가중치 모델로 복귀하다: Google의 성능은 좋지만 규모가 작은 ‘Gemma’ 클래스 모델을 제외하고, 미국은 오픈 가중치 모델 프론티어에서 멀어졌는데, 이는 주로 Meta가 좋은 LLaMA 모델 제작을 중단했고 그들의 MSL 팀이 아직 준비 단계에 있기 때문입니다. Beam과 같은 모델과 Reflection과 같은 기업들은 미국이 다시 프론티어로 돌아갈 기회를 대표합니다.
더 읽기: Beam 소개: Reflection의 501B 오픈 가중치 모델 (Reflection, blog).

**Mistral이 사이버 최적화 모델을 출시하며 중국 모델보다 성능이 낮지만 오픈 가중치 공개 계획:
**_…사이버 거부(Cyber refusals)가 판매 포인트가 되다…
_유럽의 선도적인 AI 개발사인 Mistral은 이달 말까지 출시할 예정인 오픈-웨이트 모델 Mistral Large 4를 발표했습니다. Mistral의 주요 판매 포인트 중 하나는 Anthropic과 OpenAI의 독점(proprietary) 모델보다 짜증나는 거부 응답이 적으면서 사이버 작업에 뛰어나도록 세심하게 조정되었다는 점입니다.
회사 측은 “ML4는 최고 수준의 사이버 성능과 오픈 가중치 및 자체 배포를 결합하여, 조직이 자신들의 정책 하에서 고급 보안 작업을 수행할 수 있는 역량과 자율성을 모두 제공합니다”라고 작성했습니다. ML4는 Mistral의 유럽 데이터센터에 있는 3,800개의 NVIDIA Grace Blackwell GPU로 훈련되었습니다.

점수: 테스트 결과, Mistral Large 4가 출시될 때 가장 강력한 서방 오픈-웨이트 모델일 것으로 보이지만, 중국 모델보다는 성능이 낮을 것 같습니다. 몇 가지 예시 점수는 다음과 같습니다:

• 인공 분석 – DeepSWE 1.1: 62점 (Kimi K3의 68점 및 GLM-5.3의 61점 대비)

• Terminal-Bench 4.0: 28.3점 (GLM-5.3의 41.9점 대비)

• 금융 에이전트 V2: 54.7점 (GLM-5.3의 55.8점 대비)

Vibes 평가가 순위를 확인시켜주다: 내부 테스트에서 Mistral은 사람들이 다양한 작업을 위해 Mistral과 GLM-5.3 중 어느 것을 더 선호하는지 살펴보았습니다. “ML4는 CAD와 STEM 분야에서 선호되었으며, 금융 및 코딩에서는 GLM-5.3에 필적하거나 근접한 성능을 보였습니다.”