Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Dust는 역전파(Backpropagation) 없이 트랜스포머 모델을 사전 학습하는 새로운 0차 최적화 방법입니다. 이 방법은 각 토큰의 활성값에 독립적인 잡음을 추가하고 손실 감소량을 보상으로 삼아 그래디언트를 추정합니다. 가상 집단 방식을 통해 효율적으로 수많은 개체를 병렬 평가할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Dust 는 토큰마다 활성값에 독립적인 잡음을 더하고 손실 감소량을 보상으로 삼아 그래디언트를 추정하는 0차 최적화 방법으로, 큰 탐색 집단을 사용하면 사전학습에서 역전파에 근접하거나 일부 설정에서 더 낮은 손실을 달성함
가상 집단(virtual population) 방식으로 각 토큰을 탐색 개체처럼 활용하므로, 가중치를 개체마다 복제하지 않고 한 번의 순전파에서 수천 개 개체를 병렬 평가할 수 있음
가중치 공간을 탐색하는 EGGROLL-Transformer 보다 훨씬 효율적이며, 100만 토큰 이상에서의 효율 차이는 외삽 기준 약 1,00010,000배에 달함2,000만 토큰 , 잡음 추출 64
큰 모델이 오히려 집단 크기 대비 효율적 인 결과를 보였으며, 2억 4,300만 파라미터 모델은 대부분의 집단 크기에서 약 120배 작은 모델보다 낮은 손실을 기록함
비슷한 성능에 훨씬 많은 연산량 이 필요해 아직 역전파를 실용적으로 대체하기는 어려우며, 현재의 연산 자원 수준에서 대안이 되려면 효율을 여러 자릿수 규모로 개선해야 함
역전파 대신 탐색으로 학습하기
Dust 의 목표는 미분 가능성과 해석적 구조에 대한 의존을 줄이고, 대규모 탐색으로 트랜스포머를 처음부터 사전학습하는 것임
역전파는 미분 가능성을 요구하며, 기존 신경망 구조와 최적화기, 하드웨어는 이 제약을 중심으로 발전해 옴
Dust는 트랜스포머 언어 모델 사전학습에서 역전파와 경쟁할 수 있는 최초의 0차 방법을 목표로 함
출발점은 연산량과 함께 확장되는 일반적 방법이 결국 우세해진다는 The Bitter Lesson 임
AlphaGo Zero 는 사람의 데이터로 초기 학습을 돕는 방식보다, 충분한 연산량을 투입한 자기 대국 방식이 더 나은 결과를 낼 수 있음을 보여줌
미분 가능성과 역전파도 적은 연산량에서는 유용한 귀납적 편향이지만, 연산량이 풍부한 환경에서는 사용 가능한 구조를 제한할 수 있음
그래디언트 기반 방법도 손실 지형을 최적으로 탐색하지 못할 수 있으며, 이것이 신경망의 높은 데이터 요구량과 관련될 가능성이 있음
더 유연한 탐색 기반 기여도 할당(credit assignment) 이 일반화 개선으로 이어질 가능성을 탐구함
활성값 공간 은 잠재적 추론을 탐색할 수 있는 후보임
기계적 해석 가능성 연구는 언어로 표현할 수 있는 추론과 그렇지 않은 추론 모두 활성값에 자리함을 보여줌
활성값을 탐색하는 학습은 잠재적 추론에 대한 탐색으로 발전할 가능성이 있음
활성값 교란과 토큰별 가상 집단
기존 진화 전략(ES) 은 개체마다 교란된 가중치와 순전파 평가가 필요함
EGGROLL은 저랭크 교란으로 가중치 복제 비용을 줄이지만, 개체 하나를 평가할 때 여전히 배치 안의 시퀀스 하나가 필요함
Dust는 선형 층의 출력에 토큰별로 독립적인 가우시안 잡음을 더해, 가중치에 저랭크 교란을 적용한 것과 같은 효과를 가중치 복제 없이 만듦
가상 집단 은 배치 축과 별개로 토큰 축을 활용함
수천 토큰의 시퀀스 하나에서 수천 개 개체를 평가하므로, 현대 트랜스포머에서는 순전파당 평가 집단이 가중치 공간 ES보다 최소 세 자릿수 규모로 커짐
전체 토큰의 활성값은 가중치보다 더 고차원일 수도 있으므로, 이점은 단순한 차원 축소보다 토큰별 독립 교란과 보상에 있음
모델의 가중치는 이 방식으로 학습하되, 층 수가 (L)일 때 잔차 혼합 스칼라 (2L)개 는 일반적인 가중치 공간 ES로 학습함
토큰 (t)의 보상은 해당 토큰과 이후 토큰의 중심화된 손실 감소량 을 감쇠 계수 (\gamma)로 가중해 더한 값임
중심화 기준은 같은 배치 순전파에서 함께 평가한 여러 교란의 토큰별 평균 손실임
(\gamma=0)이면 자기 토큰의 손실만 반영하고, 값이 커질수록 어텐션을 통해 영향을 받는 이후 토큰까지 반영함
전체 토큰에 독립 잡음을 한 번 생성하는 것을 잡음 추출(draw) 로 정의하며, 업데이트당 (K)번 추출함
보상으로 가중한 잡음을 평균해 층 출력의 오차를 추정함
이 오차와 순전파에서 계산한 입력의 외적을 토큰 전체에 합산하면 가중치 그래디언트가 됨
임베딩 층에서는 입력이 원핫 벡터이므로, 해당 토큰 행에 추정 오차를 누적하는 scatter-add가 됨
역전파도 동일한 입력과 출력 오차의 외적을 사용하지만, 출력 오차를 얻는 방법 이 다름
역전파는 연쇄 법칙을 사용하고 Dust는 탐색 집단에서 추정함
잡음 추출 횟수가 늘면 그래디언트 성분은 선형으로, 방향성이 없는 오차는 제곱근 규모로 누적되므로 상대적 오차와 교란 간 간섭이 줄어듦
교란 간 간섭을 줄이는 구현과 튜닝
유한한 집단에서는 여러 층과 토큰에 가한 교란이 같은 손실 변화에 섞이는 간섭 이 주요 비용임
층 유형과 블록별로 순전파를 분리하고, 유형마다 별도의 잡음 크기를 사용함
잡음 없는 순전파 결과를 캐시해 두고, 교란한 블록부터 뒤쪽 블록만 다시 계산함
어텐션 내부 요소 인 쿼리(query), 키(key), 값(value), 게이트(gate), 값 임베딩(value embedding)은 별도로 교란함
이들의 교란은 토큰 손실에 잘 드러나지 않으므로, 캐시한 활성값에서 해당 블록의 어텐션 출력만 다시 계산함
출력 변화와 이미 추정한 어텐션 출력 그래디언트의 내적에 음의 부호를 붙여 점수로 사용함
이 점수에 현재 및 이후 토큰의 감쇠 보상 규칙을 헤드별로 적용함
언어 모델 헤드 는 캐시한 로짓에 직접 잡음을 추가함
잡음을 추출할 때마다 어휘의 일부 구간에 대해서만 교차 엔트로피를 다시 계산하므로 비용이 작고, 훨씬 큰 집단을 사용할 수 있음
조정 대상은 층 유형별 잡음 크기, 어텐션 내부의 보상 감쇠율, 층별 집단 배분임
작은 토큰 예산으로 실제 학습하는 그리드 탐색 은 신뢰할 만하지만 비쌈
한 배치에서 역전파 그래디언트와의 코사인 유사도 를 최대화하는 탐색은 학습 없이 후보를 고를 수 있음
코사인 유사도가 높아도 최종 손실이 반드시 낮아지지는 않으므로, 후보 선정 후 실제 학습으로 결정함
튜닝 결과는 대체로 토큰 예산과 집단 크기가 달라져도 유지됨
키, 값, 게이트, 값 임베딩만 이후 토큰의 보상이 필요했고, 감쇠 계수는 1에 가까웠음
예외적으로 1,000만 및 2,000만 토큰의 최대 집단에서는 감쇠를 더 느리게 하고 어텐션 쪽 잡음 추출 횟수를 늘리는 것이 유리했음
세부 설정은 튜닝 부록 에 있음
사전학습 실험과 역전파 비교
FineWeb 에서 GPT형 트랜스포머를 1에포크 학습함
어휘 크기 4,096의 BPE 토크나이저, 길이 2,048의 시퀀스 8개로 구성한 약 16k 토큰 배치, 일정 학습률의 모멘텀 SGD를 사용함
기본 모델은 8개 층, 너비 512이며, 검증 및 테스트 세트는 각각 544개 시퀀스임
조건마다 시드 3개를 사용하고, 검증 손실이 가장 낮은 체크포인트의 테스트 손실을 보고함
비교 대상은 역전파 와 같은 트랜스포머 구조로 구현한 EGGROLL-Transformer 임
각 방법을 토큰 예산과 집단 크기별로 따로 튜닝함
Dust와 역전파는 같은 모멘텀 및 학습률 탐색 범위를 사용하고, EGGROLL은 스텝 크기, 모멘텀, 잡음 크기, 적합도 변환을 별도로 탐색함
집단 크기는 Dust에서는 잡음 추출 횟수 , EGGROLL에서는 배치 순전파 횟수로 셈
Dust의 표기 집단 (K)에는 업데이트 FLOPs의 작은 부분을 차지하는 헤드 및 어텐션 내부의 잡음 추출이 빠져 있음
이를 모두 포함해도 집단 256 이상에서는 같은 표기 집단의 EGGROLL보다 Dust가 연산량을 덜 사용하므로, 비교 조건은 EGGROLL에 유리한 편임
배분 세부 사항은 집단 배분 부록 에 있음
10만16k회 범위를 평가함4.58이며, 관측 곡선이 아직 하락 중이어서 적합 결과의 제약이 느슨함
10만 토큰에서는 수백 회부터, 100만 토큰에서는 약 1,000회부터 Dust의 손실이 역전파보다 낮았음
1,000만 토큰에서는 집단 증가에 따른 개선이 평탄해졌으며, 곡선 적합으로 구한 극한은 역전파보다 약간 높았음
2,000만 토큰에서는 잡음 추출 16k회까지 계속 개선됨
2,000만 토큰의 멱법칙 외삽 극한은 4.431 로 역전파의 4.633 보다 낮지만, 측정된 성능 한계는 아님
95% 구간은 3.89
따라서 역전파를 넘어선 확정적 결과가 아니라, 집단을 늘릴수록 격차가 계속 줄어든다는 근거로 해석함
EGGROLL 16k 는 집단이 256배 작게 표기된 Dust 잡음 추출 64회 에도 도달하지 못함
10만 토큰에서는 손실 차이가 0.02 이내지만, 100만/1,000만/2,000만 토큰에서는 0.40.6 높음약 10,000배의 집단이 필요함
EGGROLL도 집단을 늘리면 더 개선될 여지가 있으나, Dust의 최소 집단 성능에 도달하려면 외삽상 수천
학습 중에도 Dust 1k 및 16k는 역전파 곡선에 근접한 반면, EGGROLL은 일찍 뒤처지고 Dust 64보다 높은 손실에서 평탄해짐
전체 테스트 손실 과 EGGROLL 외삽 에서 세부 결과를 확인할 수 있음
Adam에서도 유지되는 학습 성능
100만 토큰 실험을 Adam 으로 반복하고, 세 방법의 관련 하이퍼파라미터를 집단 크기마다 다시 튜닝함
Dust와 역전파는 시드 5개, EGGROLL은 시드 3개를 사용함
Dust는 토큰 임베딩에 더 많은 잡음 추출을 배정해 총 추출 횟수가 표기 집단의 약 1.4배였음
Adam은 Dust와 역전파의 성능을 모두 개선 했지만, EGGROLL의 결과는 모든 집단에서 SGD 대비 손실 차이가 0.01 이내였음
Dust는 큰 집단에서 역전파에 가까워졌고, 외삽 극한 5.248의 95% 구간 5.17~5.30은 역전파보다 낮았음
이는 실제로 측정한 무한 집단 성능이 아니라 곡선 적합 결과임
Dust의 추정 그래디언트는 기존 현대적 최적화기와도 작동 함
Dust에 맞춰 최적화기를 함께 발전시키면 추가 개선이 가능할 수 있으나, 후속 연구 과제로 남아 있음
모델 크기와 그래디언트 정렬의 확장성
0차 방법은 교란 차원이 커질수록 추정 분산과 필요한 집단 크기가 커진다는 통념이 있음
이를 검증하기 위해 1,000만 토큰을 고정하고 200만/730만/3,800만/2억 4,300만 파라미터 모델을 비교함
구조는 각각 층 수/너비 기준 2/128, 4/256, 8/512, 16/1024임
큰 모델이 집단 크기 대비 더 효율적 인 경우가 많았음
집단 256 이상에서는 200만에서 730만, 3,800만으로 커질수록 손실이 줄었고, 2억 4,300만 모델은 3,800만 모델보다 조금 나빴음
최소 집단 64에서도 약 120배 큰 모델은 200만 모델과 비슷했고, 그보다 큰 모든 집단에서는 더 나았음
다만 같은 크기의 역전파 모델과 비교한 격차는 모델이 커질수록 늘었으며, 큰 집단에서는 그 차이가 작았음
큰 모델은 집단 확대의 이점도 더 오래 유지 함
잡음 추출 1k회 이후 3,800만 및 2억 4,300만 모델의 개선량은 작은 두 모델보다 약 30% 컸음
작은 모델은 더 일찍 포화됐으며, 집단을 늘려도 큰 모델의 성능을 따라잡지 못함
더 큰 탐색 공간과 잠재적으로 더 유리한 손실 지형이 이 결과를 설명할 가능성이 있음
그래디언트 비교는 역전파로 학습한 1,000만/1억/10억 토큰 체크포인트 에서 수행함
Dust 자체를 10억 토큰까지 사전학습한 결과가 아니라, 해당 체크포인트에서 Dust의 추정 그래디언트를 측정한 실험임
집단을 64에서 128k까지 늘리자 모든 층 유형과 학습 단계에서 역전파 그래디언트와의 코사인 유사도가 높아짐
코사인 유사도는 (c_{\max}/\sqrt{1+c/K}) 형태의 두 매개변수 법칙으로 잘 맞았으며, 층 유형별 적합 RMSE는 0.06 미만이었음
역전파에 얼마나 가까워지는지는 층 유형과 개별 층에 따라 달랐음
EGGROLL은 같은 순전파 횟수에서 집단을 늘려도 128k까지 헤드를 제외한 모든 유형의 코사인 유사도가 0.05 미만이었음
큰 집단에서는 학습 토큰 수가 100배 늘어도 대부분 층의 정렬 수준이 유지 됨
충분히 큰 집단에서는 역전파와 경쟁하는 데 필요한 집단 크기가 토큰 수와 함께 계속 증가하지 않을 가능성이 있음
Dust의 그래디언트는 역전파와 비슷하지만 정확히 같지는 않아 다른 최적화 경로를 만들며, 일부 실험에서는 그 경로가 더 낮은 손실로 이어짐
남은 과제와 적용 범위
더 나은 탐색 방향을 찾는 원리 는 아직 분명하지 않음
손실 지형을 암묵적으로 탐색하면서 고차 곡률을 포착하고 평탄한 영역으로 이동하는지는 아직 알 수 없음
큰 집단에서 역전파보다 낮은 손실을 얻는 경우는 단서지만, 메커니즘을 입증하지는 않음
종단 간 미분 가능성이 없는 구조 로 탐색 범위를 넓힐 가능성이 있음
외부 프로그램을 학습 루프에 넣은 신경망이나, 시간축 역전파로 학습하기 어려운 반복/루프형 트랜스포머가 후보임
이번 연구에서는 이러한 구조를 실제로 학습하지 않았음
연산 효율 개선 이 실용화의 가장 큰 과제임
이번 연구는 역전파를 즉시 대체하는 것보다 탐색 기반 기여도 할당의 가능성을 검증하는 데 초점을 둠
현재의 연산 자원 수준에서 실용적 대안이 되려면 여러 자릿수 규모의 효율 개선이 필요함
기존 연구와의 차이
가중치 교란 기반 사전학습 과 달리 Dust는 활성값과 토큰별 보상을 활용함
초기 0차 언어 모델 사전학습 연구 는 가중치 교란으로 트랜스포머를 처음부터 학습하는 어려움을 다룸
KronZO 는 Kronecker 구조의 압축된 교란과 선택적 방향 업데이트로 사전학습 및 메모리 사용을 개선함
EGGROLL 은 저랭크 구조로 GPU에서 큰 가중치 교란 집단을 효율적으로 처리함
사전학습 모델 주변의 탐색 과 표현 자체를 처음부터 배우는 작업은 구분됨
활성값 교란과 순방향 그래디언트 연구 에도 기반을 둠
국소 학습 동역학 으로 전역 역방향 패스를 대체하는 접근과도 차이가 있음
Sakana AI의 PC-ALM 은 국소 예측 부호화와 라그랑주 승수로 기여도를 전달하며, 국소 미분을 사용하고 이미지 분류에서 평가함
Dust는 트랜스포머 사전학습에서 순방향 교란으로 기여도를 추정하고, 토큰별 보상과 어텐션 출력의 국소 목표를 결합함
댓글과 토론