[AI가 다른 AI의 '뇌'를 직접 고친다…MIT, 가중치 읽고 쓰는 GPT-6 아스트라 실험 공개]
MIT 컴퓨터과학·인공지능연구소(CSAIL) 연구진이 범용 AI가 다른 신경망의 내부 숫자(가중치)를 직접 읽고 고칠 수 있다는 실험 결과를 내놓았습니다. 재학습 없이 작은 언어모델의 수학 점수를 크게 끌어올렸다는 내용이라 AI 개발 방식과 안전성 연구에 함께 영향을 줄 수 있습니다. 다만 아직 동료 심사를 거치지 않은 사전 공개 논문입니다.
▶ 무슨 일이 있었나
리키야 다케히, 제이든 테오, 알렉스 장, 오마르 카타브 등 4명은 11월 2일 사전 공개 논문 'Sparks of Weight-Space Programming'을 alphaXiv에 올렸습니다. 네이처는 11월 13일 뉴스로 이 연구를 소개했습니다.
실험에 쓴 모델은 오픈AI의 GPT-6 아스트라입니다. 연구진은 이를 '가중치 공간 프로그래밍'이라 부릅니다. 가중치를 사람이 코드를 읽고 고치듯 다룬다는 뜻입니다.
▶ 핵심 결과(저자 발표)
· 게임 신경망 가중치 1만7,253개만 보고 어떤 게임(브레이크아웃)을 학습했는지 맞힘
· 경사로를 넘지 못하던 자동차 제어 신경망: 가중치 3.5%를 한 번에 고쳐 성공률 0%→100%
· 큐원3.5-0.8B 모델의 '추론 반복' 오류를 찾아 가중치 0.016%만 수정
· 그 결과 수학 시험 MATH-500 점수 7.9%→48.1%, 지시 이행 평가(IFEval)도 약 3배
▶ 어떻게 작동하나
보통 AI는 경사하강법(오차를 조금씩 줄이는 반복 학습)으로 가중치를 바꿉니다. 이번 실험에서 아스트라는 학습 루프를 쓰지 않았습니다. 각 부분이 무엇을 계산하는지 추론해 숫자를 직접 고쳤습니다.
▶ 한계와 남은 과제
옥스퍼드대 AI 안전 연구자 파즐 바레즈는 네이처에 이런 해석이 AI를 더 안전하게 만든다는 가정은 "대체로 검증되지 않았다"고 말했습니다. 아스트라가 학습 과정에서 익힌 기법을 적용한 것인지도 불분명합니다.
공개 토론에서는 지시문에 '반복' 힌트가 들어 있었던 점을 지적하는 질문도 나왔습니다. 실험 대상도 소형 모델과 게임 신경망에 그칩니다.
▶ 투자자·산업 관점
학습 없이 모델을 고칠 수 있다면 재학습에 드는 연산 비용을 줄일 여지가 있습니다. 해석 가능성(AI 내부 이해) 연구 도구로도 쓰일 수 있습니다. 하버드대 마링카 지트닉은 실제 시험 전에 모델 오류를 찾는 데 도움이 될 수 있다고 봤습니다.
다만 대형 모델에서 재현되는지, 비용이 기존 학습보다 실제로 싼지는 확인되지 않았습니다. 상업화 시점을 말하기는 이릅니다.
▶ 앞으로 볼 지표
· 동료 심사 통과와 독립 재현 여부
· 연구진이 예고한 평가 기준(벤치마크) 공개
· 대형 모델 적용 결과
▶ 출처
· 네이처 뉴스(11/13) https://t.co/Oo4etFNWTe
· 사전 공개 논문 https://t.co/05nZodl1Cr
· 연구진 블로그 https://t.co/LX9bPhOiaK
※ 이 글은 정보 제공 목적이며 특정 종목의 매수·매도를 권유하지 않습니다. 투자 판단과 그 책임은 투자자 본인에게 있습니다.