AMA: SOTA 의사 결정 모델 학습 방법 공개, OpenRouter Top 3 및 Artificial Analysis 최고 기록 달성:

안녕하세요 llamas 여러분! 저는 Nace AI의 기술 스태프 Alt입니다. 여기에서 간단한 AMA(Ask Me Anything)를 진행하게 되었으니, 무엇이든 질문해 주시면 답변드리겠습니다. 저희는 방금 네 가지 오픈 의사 결정 모델 제품군인 Drex를 구축하고, 학습시키고, 평가하는 방법에 대한 전체 기술 보고서를 발표했습니다.

의사 결정 모델은 상태(문서, 기록 또는 에이전트 컨텍스트, 선택적으로 이미지를 포함)와 옵션이 있는 질문을 입력받아, 단일 패스(single pass)로 옵션에 대한 확률 분포를 반환하며, 자기회귀 디코딩(autoregressive decoding)이나 출력 파싱(output parsing) 과정이 없습니다.

주요 성과:

• OpenRouter Top 3 달성
• Artificial Analysis Top 5 달성

1. 모델 - Drex:

• Drex DLM (8B): 컨텍스트에 대한 양방향 어텐션(bidirectional attention)을 사용하는 확산 LM(diffusion LM) 백본.
• Drex v1.5 (9B): Gated DeltaNet 하이브리드 백본.
• Drex v2.0 (35B, 3B active): 희소 MoE(sparse Mixture of Experts) 백본.
• Drex Max (27B): 비전 입력을 위한 이미지 인코더를 갖춘 밀집형(dense) 모델.

포인터 모델(DLM / v1.5 / v2.0)은 상태를 한 번 인코딩하고 캐시하여, 모든 질문이 해당 상태에 어텐션하지만 다른 질문에는 절대 어텐션하지 않습니다. 포인터 헤드(pointer head)가 각 옵션의 점수를 매깁니다. Drex Max는 각 질문 전체를 읽고 옵션 코드에 대한 선형 판독 헤드(linear readout head)로 답변합니다.

보고서에서 가져온 몇 가지 기술적 세부 사항:

1. 모델 - 네 가지 특화된 의사 결정 모델 제품군: Drex DLM (8B), Drex v1.5 (9B), Drex v2.0 (35B MoE, 3B active), 그리고 비전 기능을 갖춘 Drex Max (27B dense).
2. 우리는 이들을 다양한 아키텍처 기반으로 구축했습니다: 확산 LM, Gated DeltaNet 하이브리드, 희소 전문가 혼합(sparse mixture of experts), 그리고 밀집 트랜스포머.
3. 우리는 상태에 대한 양방향 어텐션 대 인과적 어텐션(causal attention)의 실험을 진행했으며, 질문 전반에 걸쳐 하나의 캐시된 상태를 공유하는 포인터 의사 결정 헤드와 Max용 판독 헤드를 구현했습니다.

훈련(Training) - 1.15M개의 검증된 의사 결정 기록을 사용한 전체 파라미터 SFT(Supervised Fine-Tuning). 일관성 훈련: 옵션 순서가 재배열되거나 상태가 무작위로 섞였을 때 모델의 출력이 변경되면 페널티를 부과합니다. RLAF (Adjusted Feedback 기반 강화학습), 검증된 결과 및 심사위원 피드백을 사용합니다. 어떤 방법이 실제로 기여했는지 확인하기 위한 제거 실험(Ablations).
SFT 위에 RLAF를 적용한 결과, 의사 결정 지수(Decision Index)에서 +2.0점, 정확도(accuracy)에서 +1.5 퍼센트 포인트(pp), 그리고 보정 오차(calibration error)에서 0.9 pp 감소를 달성했습니다. 일관성 항은 옵션 순서 변경률을 6.3%에서 4.2%로 낮췄습니다.

3. 평가(Evaluation) - Drex Max는 Decision Index 0.4.1 (공개 스위트)에서 67.52점을 기록했으며, 이는 Jev 1.14.0의 60.70점과 비교됩니다. Drex v2.0은 약 115K개의 홀드아웃(held-out) 결정에 대해 1.37%의 보정 ECE를 가집니다. Drex Max는 일반적인 요청에 183ms 만에 응답하며, 이는 GPT-6 Sol의 약 2.0초 및 Claude Opus 5.5의 약 3.5초와 비교됩니다. 컨텍스트(Context) 길이는 v1.5/v2.0의 경우 최대 131K 토큰, Max의 경우 262K 토큰입니다.

또한 저희 모델의 한계점도 다룹니다: 저희 모델은 폐쇄된 지식(closed-book knowledge) 측면에서 최첨단 채팅 모델에 뒤처지며, 아직 동일한 백본 아키텍처(same-backbone architecture) 제거 실험을 수행하지 못했습니다.

5. 로컬 실행(Running locally) 모델은 safetensors 및 GGUF 형식으로 제공되며, llama.cpp와 Ollama를 지원합니다. 보고서에는 양자화(quantization), 캐싱(caching), 추론(inference), 재현성(reproducibility)에 대한 세부 정보가 포함되어 있습니다.

링크 - 논문 (arXiv): https://arxiv.org/pdf/2611.07854
블로그: https://www.nace.ai/research/towards-foundation-decision-models
가중치(Weights): https://huggingface.co/collections/nace-ai/drex
GitHub: https://github.com/nace-ai/drex-decision-models
API: https://console.nace.ai
저희는 단순히 벤치마크 수치뿐만 아니라 전체 방법론을 공유하고자 했습니다. 에이전트 라우터(agent routers)를 구축하거나, 도구 선택(tool selection)을 수행하거나, 자체 의사 결정 모델을 훈련하는 데 유용하기를 바랍니다. 아키텍처, 데이터, 훈련, 평가(evals), 또는 로컬 실행에 관해 무엇이든 질문해 주세요.
제출자: /u/m4rkGS [링크] [댓글]“