1500만 개의 파라미터를 가진 '결정 전용' 모델을 두 가지 방식으로 훈련시켜 비교한 결과: 선형 순환 구조 vs Transformer 어텐션

TypeSafe의 Jev(경계가 지정된 결정—선택, 확률, 보정된 신뢰도만을 출력하는 비생성 모델)에서 영감을 받아, 저는 동일한 예산과 작업을 가진 두 개의 작은 결정 모델을 엔드투엔드로 구축하여 하나의 질문에 답했습니다. 즉, 어떤 기반 구조(substrate)가 더 나은 Jev를 만드는지 알아내는 것이었습니다. 저장소: https://github.com/stube123890-hue/jev-decision-lab
설정 (V4, 주요 결과):

• 각각 약 1509만 개의 파라미터(params)를 가지며, ±0.02% 오차 범위 내에서 예산이 일치하도록 조정됨.
• jev-v8a: 선형 순환 백본(linear recurrent backbone) (linear-attention-lab에서 가져온 저의 Gated Segmented State Space 아키텍처) + 결정 헤드
• jev-transformer: 표준 어텐션 백본(standard attention backbone) + 동일한 헤드
• 새로운 작업: 장문맥 검색-결정(long-context retrieval-decision) — 2k–8k 문자 길이의 지문을 주어진 후, 그 안에 포함된 4개의 문장 중 어느 것을 결정하는 것 (훈련 데이터 2000개 / 검증 데이터 500개 / 테스트 데이터 500개)
• Colab T4에서 훈련되었으며, 모든 과정은 노트북에서 재현 가능합니다.
  결과:
• 정확도(Accuracy): 노이즈 수준. 테스트에서 v8a는 26.8%를 기록했고 트랜스포머는 28.2%를 기록했습니다 (기회 확률 = 25%). 이 규모에서는 어느 쪽도 많은 것을 학습하지 못했으며, 손실값(loss)을 그대로 보고합니다.
• 지연 시간(Latency): 실제 교차점 발생. 트랜스포머는 약 1550 토큰 이하에서 더 빠릅니다. T=8192일 때, 선형 모델이 2.37배 더 빠릅니다 (각각 108.6ms 대 257.7ms). 이론에서 예상했던 대로 O(T)와 O(T²)의 차이가 명확하게 나타납니다.
• 훈련 속도(Training speed): 큰 격차. v8a는 6개의 파인튜닝 에포크에 약 30분이 걸린 반면, 트랜스포머는 2k–8k 컨텍스트에서 에포크당 약 4045분이 소요되었습니다. 이는 규모가 커질수록 더 심해지는 약 67배의 격차입니다. 이전 라운드(저장소 내): 더 짧은 결정 작업을 수행하는 V2/V3에서는 선형 모델이 정확도 면에서 압도적으로 우세했습니다 (50.4 대 46.2, 66.2 대 61.0). 따라서 그림은 이렇습니다: 선형 순환 구조는 단기 컨텍스트 결정에서 승리하거나 동률을 이루며, 장기 컨텍스트 비용에서는 지배적이지만, 15M 규모에서는 어텐션보다 어려운 검색 작업을 더 잘 학습하지 못합니다. 현재 진행 중인 작업: V5, 두 모델의 양방향 변형(각 15M, 동일한 예산). 이 결과가 나오면 저장소를 업데이트할 예정입니다. 아키텍처나 훈련 설정에 대한 질문은 기꺼이 답변드리겠습니다. 그리고 네—부정적인 결과 자체가 핵심입니다. 작은 결정 모델들은 기반 구조와 관계없이 이 규모에서는 정확도가 부족합니다.

제출자: /u/AlarmingTrouble5261 [링크] [댓글]