GPT-6 Astra가 Qwen의 일부 가중치를 편집한 후, Qwen의 수학 정확도가 향상되었습니다. 이 수정은 구체적인 실패 사례를 다루었는데, 이는 답변을 위해 할당된 공간을 소진하는 반복적인 추론이었습니다. 가중치 공간 프로그래밍(weight-space programming)을 평가하는 개발자들에게 유용한 질문들은 수리된 실패 사례, 편집자에게 제공된 지원, 그리고 결과를 판단하는 데 사용된 테스트에 관한 것입니다.
요약 (TL;DR)
- MIT 계열 팀은 고정 프로토콜 하에서 Qwen3.5-0.8B가 MATH-500에서 7.9%에서 48.1%로 상승했다고 보고했습니다. 편집된 답변 중 약 3분의 1은 여전히 길이 제한에 도달했습니다.
- Astra는 Python, 정답이 있는 연습 문제, 배치 모델 실행 피드백을 통해 여러 차례 걸쳐 작동했습니다. 기울기 학습(Gradient training)은 금지되었습니다.
- 연구원들은 최종 평가 질문들이 편집자에게 보이지 않았다고 말합니다. 벤치마크 이름과 평가 프로토콜은 프롬프트에 공개되었습니다.
- Matthew Honnibal의 오늘 비평은 서로 다른 조건의 실험을 결합함으로써 만들어진 인상에 관한 것입니다. 주력 모델인 Gemma의 후속 작업은 이득을 입증하는 데 실패했습니다.
Qwen 가중치 편집이 완료하지 못했던 오류를 수리하다
Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab은 11월 2일에 그들의 연구를 발표했습니다. 해당 페이지는 MIT CSAIL 제휴 관계를 나열합니다. 실험에 사용된 편집자는 OpenAI의 GPT-6 Astra였습니다. 이 출처 표기는 중요합니다: 연구 계정은 팀 소유이며, 모델 제공업체가 편집 모델을 공급합니다.
그들의 Qwen 실험은 약 0.8 billion 가중치를 가진 소규모 언어 모델의 텍스트 부분을 사용했습니다. 사고 모드(thinking mode)에서 기본 모델은 종종 출력 제한에 도달할 때까지 자신의 작업을 반복했습니다. 보고된 MATH-500 평가에서, 기본 답변의 93%가 이 한계에 도달했습니다. 모델은 유용한 중간 작업을 수행했음에도 불구하고 최종 답변이 도착하지 않으면 여전히 낮은 등급을 받을 수 있습니다.
저자들은 레이어 15와 19의 피드포워드(feed-forward) 컴포넌트에 의해 작성된 반복 관련 방향을 설명합니다. Astra는 이 기여분을 선택된 출력 열에서 빼냈습니다. 그 결과 모델은 더 많은 답변을 완성했고, 보고된 정확도가 증가했습니다. 연구진은 이러한 성과를 모델이 이미 처리할 수 있는 답변을 끝낼 수 있게 해주었기 때문이라고 설명합니다.
Exact source excerpt describing the targeted Qwen edit
이 수정은 여전히 불완전합니다. 편집된 Qwen은 MATH-500 답변 중 33.1%에서 한계에 도달했습니다. 이러한 잔여 문제는 배포를 판단할 때 중요합니다: 많은 요청을 구제하는 개입이라도 전체 예산을 소모하는 상당한 양의 요청 대기열을 남길 수 있습니다. 제목의 단어 “패치된(patched)”은 그러한 제한 사항을 반영합니다.
[원래 Qwen 모델 카드]는 이미 사고 루프(thinking loops)에 대해 경고합니다. 이 문서는 사용 사례에 맞는 샘플링 튜닝을 권장하며, 비정상적인 생성을 감지하고 중단하기 위해 스트리밍(streaming) 사용을 권장합니다. 가중치 편집은 알려진 장애물에 대한 입증된 개입 중 하나입니다. 이는 서비스 애플리케이션에서 사용할 수 있는 제어 장치와 함께 평가되어야 합니다.
파이썬 및 실습 피드백의 기여 내용
[실제 초기 프롬프트]는 상당한 연구 환경을 제공합니다. Astra는 가중치 위에 영구적인 CPU 파이썬 커널(Python kernel)과 토크나이저, 그리고 수치 해석 라이브러리를 받습니다. 이 커널은 인터넷이나 GPU가 없습니다. 모델 실행은 별도의 순전파(forward-pass) 도구를 통해 이루어집니다.
실습 파일에는 문제와 답안이 포함되어 있으며, GSM8K 및 MATH 학습 분할(training splits)의 경우 참고 솔루션도 제공됩니다. 에디터는 생성된 텍스트, 점수, 실패 횟수, 내부 활성화 값(internal activations)을 검사할 수 있습니다. 동일한 문제에 대해 원본 버전과 수정된 버전을 비교할 수 있습니다. 이러한 관찰 결과는 특정 구성 요소를 선택하고 개입(intervention)을 테스트하기 위한 증거를 제공합니다.
포워드 패스(forward-pass) 예산은 주의 깊게 읽어야 합니다. 생성 요청에는 총 512개의 답안이 포함될 수 있습니다. 쌍 비교(paired comparisons)는 모델당 최대 256개의 답안을 생성할 수 있습니다. 교사 주도 요청(teacher-forced request)은 토큰 제약 내에서 최대 1,024개의 텍스트를 검사할 수 있습니다. 따라서 50개 예산 단위는 유용한 피드백의 배치(batches)를 설명합니다. 이는 Python 실행 횟수, 대화 턴(conversation turns), 또는 학습 단계(training steps)의 횟수와는 별개입니다.
고정된 로그(pinned logs)는 성공적인 Qwen 실행이 다중 턴 프로세스였음을 보여줍니다. 에디터는 실패 사례를 검사하고, 개입을 시도하며, 결과를 비교했습니다. 내러티브는 정확한 경과 시간(elapsed time)을 이야기에서 제외하는데, 이는 벽시계 총합(wall-clock total)에 제공업체 대기 시간이 포함되기 때문입니다. 이 과정을 즉각적이라고 부르는 것은 해당 로그에서 보이는 작업을 지워버릴 것입니다.
프롬프트는 또한 계획을 제공합니다. 이는 Astra에게 가장 큰 설명 가능한 실패 범주를 진단하고, 원인적으로 구성 요소를 국소화하며, 여러 강점을 테스트하고, 선택에 사용되지 않은 문제에서 이득을 확인하도록 요청합니다. 이는 반복적 사고 수정(repetitive-thinking repair)을 명시적으로 적격 목표로 지정합니다. 이러한 지침은 역량 설명에 포함되어야 합니다: 즉, 모델이 목적에 맞게 설계된 작업 및 테스트 환경 내에서 유용한 수정을 생성했다는 것입니다.
직접 가중치 편집(Direct weight edits), 경사 학습(gradient training) 및 비사용 평가(held-out evaluation)
이 실험은 역방향 전파(backward passes), 최적화기(optimizers) 및 손실에 대한 가중치 반복 적합(iterative fitting of weights to a loss)을 금지합니다. 또한 어떤 텐서(tensors)를 변경할 수 있는지 제한합니다. 에디터는 기존 가중치와 피드백을 분석한 다음, 직접적인 개입을 계산하고 저장할 수 있습니다. “경사 학습 없음(No gradient training)”은 이러한 작업 제약 사항을 정확하게 설명합니다. 실습 예제 및 평가 피드백은 프로세스의 일부로 남아 있습니다.
보고된 최종 편집은 131,072개의 항목에 영향을 미쳤으며, 이는 모델 가중치의 약 0.016%에 해당합니다. pinned experiment README에는 평가에 사용된 bfloat16 형식으로 변환한 후 130,188개가 다르다고 명시되어 있습니다. 이 반올림 세부 사항은 수정된 항목 수와 최종 고유 값이 약간 다른 개수를 가질 수 있는 이유를 설명합니다.
연구진들은 최종 평가 질문이 제외되었다고 밝힙니다. 실습 피드백(Practice feedback)은 편집을 선택하는 데 도움이 되며, 최종 벤치마크는 그 이후에 제출된 모델을 측정합니다. Astra는 프롬프트로부터 벤치마크 이름과 프로토콜을 알고 있습니다. '실습 확인 분할(practice confirmation split)' 또한 또 다른 범주입니다. 이는 최종 벤치마크와 별개로 편집하는 동안 후보를 확인할 수 있도록 도와줍니다.
최종 Qwen 비교에서는 디코딩 프로토콜(decoding protocol)이 고정되어 있습니다. 사고 과정(Thinking)은 활성화되었고, 답변 예산(answer budget)은 32,768개의 새 토큰이며 MATH-500은 문제당 평균 네 개의 샘플을 사용합니다. 보고된 소수점 정확도는 이러한 생성 전체에 걸친 평균입니다. 이 표는 해당 프로토콜 내에서 유용하며, 모든 가능한 샘플링 구성이나 각 사용자의 작업량을 설명하는 것은 아닙니다.
| 보고된 Qwen 조건 | MATH-500 정확도 | 상한선 도달 답변 비율 |
|---|
| 원본 (Original) | 7.9% | 93.0% |
| 편집됨, 50회 패스 예산 | 48.1% | 33.1% |
이러한 개선은 저자들이 진행한 IFEval 테스트에서도 명령어 추종(instruction following)에 도달했습니다. 출력을 완성하는 것이 수학을 넘어 도움을 줄 수 있습니다. 이는 벤치마크 점수가 급격하게 변할 때마다 정확성뿐만 아니라 완료 행동(completion behavior)도 검토해야 한다는 실질적인 상기시켜주는 내용입니다.
왜 작은 게임 실험들이 별도의 범위를 갖는지
Matthew Honnibal의 November 3 critique은 독자들이 여러 실험 조건들을 결합하여 하나의 심층적인 기술(deep technique)에 대한 인상을 얻을 수 있다고 주장합니다. Honnibal는 spaCy를 만들었고 Explosion의 공동 창립자입니다. 그의 기사는 도구 지원 작업이 인간 머신러닝 엔지니어가 수행할 수 있는 작업을 수행한다고 공로를 돌리면서도, 묶여서 제시된 방식(bundled presentation)에서 유추되는 추론에 대해서는 의문을 제기합니다.
작은 시연들은 서로 다른 입력값을 가집니다. 한 가지 경우에는 Astra가 게임 플레이 네트워크로부터 원시 가중치(raw weights)를 받고 도구 없이 게임 이름을 지정합니다. 또 다른 경우에는, 연습 롤아웃(practice rollouts) 없이 규칙과 소스 코드를 사용하여 무(zero)에서 게임 네트워크 가중치를 작성합니다. Qwen의 수정 작업은 Python 및 모델 실행 피드백을 추가합니다. 각각은 고유한 경계를 가진 유용한 관찰입니다.
게임 결과 또한 선택된 기준선(baseline)에 따라 달라집니다. Astra가 생성한 네트워크는 Breakout, Seaquest, Asterix에서 1억 스텝 동안 PPO로 학습된 모델보다 우수합니다. 하지만 5억 스텝 동안 PPO로 학습된 모델과 비교했을 때는 Breakout만이 여전히 승리하지만, Seaquest와 Asterix는 패배하게 됩니다. 실제 표는 두 가지 비교 열을 모두 보존하고 있습니다.
저는 어떤 발표에서도 이 열들을 보이게 유지할 것이라고 생각합니다. “학습된 네트워크보다 우수하다(Beats trained networks)”라는 주장은 그 상대방이 명시되어야 합니다. 그렇지 않으면, 기준선 변경이 원본 표와 헤드라인 사이에서 사라질 수 있는데, 이는 놀라울 정도로 효율적인 압축 방식입니다.
더 작은 Gemma 후속 연구가 유용한 경계를 제공하다
연구진의 Gemma follow-up은 루프를 거의 돌리지 않는 더 작은 모델에서 이 방법이 어떻게 작동하는지 묻습니다. 관찰된 실패 사례에는 제거 가능한 구성 요소가 뒤에 없는 잘못된 산술 계산이나 유효하지 않은 대수학적 단계 등이 포함됩니다. Astra는 다시 한번 연습 피드백을 받고 목표 지향적인 편집을 수행합니다.
Exact source excerpt describing Gemma's ordinary reasoning failures
보고된 MATH-500 기준선(baseline)은 6.8%입니다. 가장 좋은 결과는 25회 패스 예산에서 7.7%이며, 50회 패스 결과는 7.0%입니다. 저자들은 확립된 개선을 보고하지 않았습니다. 차트는 그 규모를 정직하게 유지하고 가장 잘 보고된 행과 최대 예산의 행을 구별해야 합니다.
Gemma는 자체 모델 크기, 샘플링 설정(sampling settings), 출력 제한(output cap), 그리고 채점 절차(grading procedure)를 사용합니다. 이는 루핑이 유일하게 변경된 변수임을 증명하는 동등 통제 제거 실험(equal-controlled ablation)이라기보다는 범위가 한정된 실패 후속 조치입니다. 그 가치는 명확합니다: 해당 접근 방식의 성공적인 Qwen 복구는 이 두 번째 설정에서 확립된 이득을 가져오지 못했습니다.
공개된 편집된 Qwen 체크포인트 카드는 또한 akhaliq가 별도의 재실행(re-run)을 했음을 언급합니다. 편집된 모델은 전체 MATH-500 프로토콜에서 51.0%를 기록한 반면, 기본 검사는 단지 25개의 문제만 사용했습니다. 이는 명시된 설정 하에서의 공개된 편집 모델의 성능을 뒷받침합니다. 비대칭적인 기본 샘플(asymmetric base sample)은 이를 일치하는 전체 기준선 복제(matched full-baseline replication)로 간주하는 것을 방지합니다.
판정: 검토 필요 (NEEDS REVIEW)
저는 목표 루프 복구는 심각하게 받아들이고 저장된 가중치(saved weights)를 테스트할 것입니다. 광범위한 주장은 해당 실패 모드 이상의 개선에 달려있도록 제한해야 합니다. 개발자 입장에서 첫 번째 수용 질문은 구체적입니다: 개입이 어떤 실패를 수정하는지, 그리고 그 실패가 중요한 작업 부하에서 얼마나 자주 발생하는가?
유용한 평가는 원본 모델, 후보 가중치(candidate weights), 그리고 서빙 설정(serving settings)을 보존합니다. 이는 완성 실패와 함께 최종 답변의 정확성을 확인하며, 편집 후 성능이 저하되는 예시들을 유지합니다. 연구자들이 발표한 프로토콜과 반례는 해당 질문을 더 쉽게 제기할 수 있게 합니다. 보고된 승수(multiplier)는 조사를 시작하는 계기가 될 수 있지만, 배포 결정은 여전히 애플리케이션 자체의 증거가 필요합니다.
FAQ
Astra는 순수 Qwen 가중치만 사용했나요?
Qwen 테스트에서는 Python 분석, 연습 답변 및 배치 모델 실행 피드백(batched model-run feedback)이 허용되었습니다. 최종 벤치마크 질문들은 유보되었다고 선언되었습니다. 작은 원본 숫자 작업들은 별도의 조건을 사용했습니다.
편집이 모든 루프를 제거했나요?
편집된 MATH-500 답변 중 약 3분의 1은 여전히 주 프로토콜에서 길이 제한(length cap)에 도달했습니다. 이 수정 작업은 실패율을 줄이고 보고된 점수를 개선했습니다.
Gemma 결과가 가중치 편집을 배제하나요?
이는 해당 소형 모델 설정에서 실패한 개선 시도를 확립합니다. 더 광범위한 결론을 위해서는 명확한 입력, 프로토콜 및 반례를 사용한 추가 실험이 필요합니다.
Sources
