[논문] 가중치 공간 프로그래밍의 불꽃: LLM이 신경망 가중치를 네이티브하게 읽고 쓸 수 있다

요약하자면, 우리는 최첨단(frontier) LLMs가 인간이나 기존 알고리즘이 예상하는 수준을 훨씬 뛰어넘어 신경망 가중치(weights)를 네이티브하게 읽고 쓰는 데 놀라울 정도로 능숙하다는 것을 발견했습니다. 이는 최적화(optimization)와 해석 가능성(interpretability) 모두에 큰 의미가 있을 수 있습니다. GPT-6 Astra는 단순히 원시 가중치를 보고도 해당 네트워크가 무엇을 학습하도록 훈련되었는지 알려줄 수 있습니다. 또한, 어떤 환경 피드백 없이도 PPO를 사용하여 1억 단계 동안 훈련된 네트워크보다 더 잘하는 작은 게임 플레이 네트워크를 처음부터 작성하는 데 어려움을 겪지 않았습니다. 마찬가지로, Astra에게 기울기(gradients) 없이 Qwen3.5-0.8B의 수학 능력을 향상시키라고 요청하자, 모델 자체 카드에서 경고했던 추론 루프를 유발하는 가중치 문제를 식별하고, 해당 가중치의 0.016%만을 네이티브하게 편집하여 이를 수정했습니다. 동일한 샘플링 설정으로 이 가중치 보정은 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸으며, 별도의 지침 따르기(instruction following)에서도 즉시 일반화되어 IFEval을 3배 향상시켰습니다. 이 모든 것은 Astra가 학습 루프를 작성하도록 허용하지 않은 상태에서 가능했습니다. 이는 추론 능력을 사용하여 신경망의 각 부분이 무엇을 계산하는지, 또는 무엇을 계산해야 하는지를 파악하고 그에 따라 가중치를 변경한다는 것을 의미합니다. 우리는 이를 '가중치 공간 프로그래밍(Weight-Space Programming)'이라고 부릅니다. 딥러닝 역사 전반에 걸쳐, 우리는 우리의 단순한 귀납적 편향(inductive biases)을 Adam이나 Muon과 같은 작은 기호 최적화기(symbolic optimizers)로 인코딩해 왔습니다. 이 방식이 변화하고 있습니다. 우리의 신경망 가중치는 곧 LLMs에 의해 네이티브하게 최적화될 것이며, 이 LLMs는 자신의 가중치에 대해 의도적으로 추론합니다.

블로그 게시물: https://rikiyat.github.io/blog/weight-space-programming/
GitHub: https://github.com/rikiyat/lm_understand-logs
HuggingFace: https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming
데모: https://huggingface.co/spaces/ML-Intern-lab/weight-space-programming-demo

무엇이 다음인가? 이 블로그에서는 LLMs가 신경망 가중치를 읽고 쓸 수 있는 능력(즉, 가중치 공간 프로그래밍이라는 높아지는 개념)을 시연했습니다.

현재의 결과는 능력이 흥미롭지만, 컨텍스트 길이와 한계(harnesses)로 인해 여전히 제한적임을 보여줍니다. 하지만 현재의 징후들은 Weight-Space Programming을 포함하는 미래에 강력한 잠재력을 보여주고 있습니다. 우리는 이것이 기계적 해석 가능성(mechanistic interpretability) 및 신경망 최적화 같은 분야에서 극적인 변화의 시작점이라고 믿습니다. 이는 LLM이 인간 언어와 가중치 공간 사이의 번역가 역할을 할 수 있는 근본적으로 새로운 가능성을 열어줍니다.

몇 가지 예시를 소개합니다:

• 평가 없는 감사(Auditing without evaluation): 이는 추론(inference)이나 벤치마크(benchmarks)를 실행하지 않고도 숨겨진 문제나 능력을 발견할 수 있게 할 수 있습니다. 현재는 해당 목적을 위해 설계된 테스트 세트가 있거나, 더 나쁜 경우 실제 환경에 배포된 후에만 능력과 취약점을 감지할 수 있습니다. 만약 LLM이 가중치 공간을 정확하게 해석할 수 있다면, 우리는 가중치 자체에서 그러한 문제들(예: 백도어)을 직접 식별할 수 있을 것입니다.
• 최적화 비용의 극적인 절감: 가중치 공간 편집(Weight-space editing)은 엄청난 시간과 컴퓨팅 자원을 절약할 수 있습니다. 예를 들어, 원샷 모델 초기화는 데이터셋을 큐레이션하고 전체 학습 루프를 실행하는 것보다 훨씬 빠르고 효율적일 것입니다.
• 제로 데이터 기반 능력 조향(Zero-data capability steering) 및 망각 학습(unlearning): 능력을 추가하거나 망각하는 것은 현재 광범위한 데이터 수집과 파인튜닝을 필요로 합니다. 미래에는 단순히 “모델에 Capability X를 추가할 수 있습니까?”라고 프롬프트만 하면, LLM이 일부 가중치를 직접 조정할 수 있게 될 것입니다. 이러한 수정은 소수의 가중치(실험 8에서 0.016%)만을 건드리기 때문에 모델의 나머지 부분을 온전하게 유지하고 파인튜닝이 자주 유발하는 치명적 망각(catastrophic forgetting)을 피할 수 있습니다.
• 재귀적 자기 개선(Recursive self-improvement): 오늘날, 재귀적 자기 개선은 종종 모델이 학습 작업을 시작하는 코드를 작성하는 방식으로 구현됩니다. 자신의 가중치나 더 새로운 모델의 가중치를 검사하고, 디버깅하며, 개선할 수 있는 LLM은 이에 대한 더 풍부하고 네이티브한 경로를 제공합니다.

진정한 아키텍처 및 모델 병합: 오늘날 모델을 병합하는 것은 가중치(weights) 평균화에 의존하며, 이는 동일한 아키텍처를 가진 모델에만 적용됩니다. 가중치 공간(weight space)을 이해하는 LLM은 대신 추론 모듈과 같은 회로를 한 모델에서 완전히 다른 모델로 재학습 없이 이식할 수 있습니다. 저희는 현재 Weight-Space Programming 분야에서 LLM의 능력을 측정하기 위한 벤치마크와 하네스(harness, 테스트 환경)를 구축하고 있습니다. 우리는 이것이 Weight-Space Programming에 대한 표준화된 평가를 제공하여 진전을 측정하고 가속화할 것이며, 현재 마법처럼 보이는 것을 엄격하고 재현 가능한 공학 분야로 전환시킬 것이라고 믿습니다. submitted by /u/pmttyji [link] [comments]