상황 설명: MIT 연구원들이 GPT-6 Astra를 이용해 소형 AI 모델의 가중치를 직접 수정했고, 수학 점수가 6배나 상승했다.

상황 설명: MIT 연구원들이 GPT-6 Astra를 이용하여 소형 AI 모델의 가중치(weights)를 직접 수정했으며, 그 결과 수학 점수가 6배나 상승했습니다.

• 가중치(Weights)란 AI 모델을 구성하는 수백만 개에서 수조 개의 숫자를 의미하며, 일반적으로 이들을 변경할 수 있는 유일한 방법은 학습(training)입니다.
• Astra는 별도의 학습 없이 Qwen3.5-0.8B의 약 8억 개 가중치 중 131,000개 가중치, 즉 0.016%만을 수정했습니다.
• Qwen의 MATH-500 벤치마크 점수는 7.9%에서 48.1%로, 초등학교 수학 점수는 13.8%에서 67.1%로 향상되었습니다.
• Astra는 2개 레이어(layers)에서 패턴을 발견하여 Qwen이 토큰을 소진할 때까지 루프를 돌게 만든 후 이를 삭제했습니다.
• 규칙만 주어졌음에도 불구하고, 표준 에이전트가 5억 스텝 동안 학습한 것보다 약 20배 높은 점수를 기록하는 Breakout 플레이 네트워크를 처음부터 작성했습니다.
• 루프 문제를 가지고 있지 않은 모델에서는 수정 작업이 거의 도움이 되지 않았으므로, 현재로서는 새로운 기술을 추가하기보다는 버그를 수정하는 데 더 효과적입니다.

@theojaffee: "이건 무언가(something)에 관한 것이지, 아무것도 아닌 것(nothing)은 아니다. 하지만 나에게는 '맙소사, 모델이 자체 가중치를 수정하여 스스로 훨씬 더 지능적으로 만들게 될 것이다'라는 엄청난 일이 벌어질 것 같지는 않다."
[quote @rikiyatakehi: 우리는 GPT-6 Astra에게 Qwen3.5-0.8B의 가중치(weights)를 수정하여 수학 능력을 향상시키도록 요청했다. 이는 그저 0.016%의 가중치만 직접 변경함으로써, 기울기(gradients)나 학습 없이도 0.8B 모델의 추론 루프를 해결하고 수학을 최대 6배까지, 심지어 명령어 수행 능력(instruction following)까지 3배 향상시켰다.
우리는 이것을 가중치 공간 프로그래밍(Weight-Space Programming)이라고 부른다: 최첨단 LLM은 이제 본질적으로...