15M 규모의 '결정 전용(decision-only)' 모델을 두 가지 방식(선형 순환 vs Transformer 어텐션)으로 훈련시켜 비교한

TypeSafe의 Jev에서 영감을 받아 (경계가 지정된 결정—선택, 확률, 보정된 신뢰도만을 출력하는 비생성적 모델), 동일한 예산과 작업을 사용하여 두 개의 작은 결정 모델을 엔드투엔드로 구축하고 하나의 질문에 답했습니다. 즉, 어떤 기반 구조(substrate)가 더 나은 Jev를 만드는지 알아내는 것입니다. 레포지토리: https://github.com/stube123890-hue/jev-decision-lab
설정 (V4, 주요 결과):

• 각각 약 15.09M 파라미터(params)로, ±0.02% 오차 범위 내에서 예산이 일치하도록 조정됨.
• jev-v8a: 선형 순환 백본(linear recurrent backbone) (linear-attention-lab의 Gated Segmented State Space 아키텍처 사용) + 결정 헤드(decision head)
• jev-transformer: 표준 어텐션 백본(standard attention backbone) + 동일한 헤드
• 새로운 작업: 장문맥 검색-결정(long-context retrieval-decision) — 2k–8k 문자 길이의 단락이 주어지면, 그 안에 포함된 4개의 문장 중 어느 것이 나타나는지 결정 (훈련 데이터 2000개 / 검증 데이터 500개 / 테스트 데이터 500개)
• Colab T4에서 훈련되었으며, 모든 과정은 노트북에서 재현 가능합니다.
  결과:
• 정확도(Accuracy): 노이즈 수준. 테스트 결과 v8a는 26.8%를 기록한 반면 transformer는 28.2%를 기록했습니다 (기회 확률 = 25%). 이 규모에서는 어느 쪽도 많은 것을 학습하지 못했으며, 손실(loss)을 그대로 보고합니다.
• 지연 시간(Latency): 실제 교차점 발생. Transformer는 약 ~1550 토큰 이하에서 더 빠르지만, T=8192에서는 선형 모델이 2.37배 더 빠릅니다 (각각 108.6ms vs 257.7ms). 이론에서 예상했던 대로 O(T) 대 O(T²)의 차이가 명확하게 나타납니다.
• 훈련 속도(Training speed): 큰 격차 발생. v8a는 6개의 파인튜닝 에포크에 약 30분이 걸린 반면, transformer는 2k–8k 컨텍스트에서 에포크당 약 40~45분이 소요되었습니다. 이는 규모가 커질수록 악화되는 67배의 격차입니다.
  이전 라운드 (레포지토리 내): 더 짧은 결정 작업(short decision tasks)에서는 V2/V3에서 선형 모델이 정확도 면에서 압도적으로 우세했습니다 (50.4 vs 46.2, 66.2 vs 61.0). 따라서 그림은 다음과 같습니다: 선형 순환 방식은 짧은 컨텍스트 결정 작업에서 이기거나 동률을 이루며, 장 컨텍스트 비용에서는 지배적입니다—하지만 15M 규모에서는 어텐션보다 어려운 검색 작업을 더 잘 학습하지 못합니다. 현재 진행 중인 것: V5, 두 모델의 양방향(bidirectional) 변형 (15M, 동일 예산). 이 결과가 나오면 레포지토리를 업데이트할 예정입니다. 아키텍처나 훈련 설정에 대한 질문은 기꺼이 답변드리겠습니다. 그리고 네—부정적인 결과 자체가 핵심입니다. 작은 결정 모델들은 기반 구조와 관계없이 이 규모에서는 정확도가 부족합니다.

제출자: u/AlarmingTrouble5261 [링크] [댓글]