실제 SOTA 의사 결정 모델을 훈련하는 방법에 대한 최초의 논문: 전체 플레이북 - 아키텍처, 데이터셋, 훈련, 평가, 추론

Nace AI Research Lab에서 Drex 의사 결정 모델이 어떻게 구축되고, 훈련되며, 평가되는지를 상세히 설명한 원칙적인 50페이지 분량의 기술 보고서를 발표했습니다. 이 보고서는 커뮤니티에 의사 결정 모델을 정의하고 이를 훈련하는 방법을 설명한 최초의 의미 있는 기여입니다. 저자들은 조정된 피드백으로부터의 강화학습 (Reinforcement Learning from Adjusted Feedback, RLAF), 신뢰도 보정(confidence calibration), 옵션 셔플링(option shuffling)과 같은 사후 훈련(post-training)의 여러 혁신적인 기술들을 공개했으며, 이를 통해 모델이 몇 주 동안 지속적으로 SOTA를 유지할 수 있게 했습니다. 이들 모델은 이미 Drex DLM, v1.5, v2.0, Drex Max (아래 링크 참조)로 사전에 오픈 소스화되었습니다.

흥미로운 기술적 세부 사항:

• 모델: 전문화된 계열의 모델들은 크기가 9B에서 35B 매개변수에 이르기까지 다양합니다. 아키텍처에는 Dense Causal Transformers, Diffusion LMs, Mixture of Experts 등이 포함됩니다.
• 실험 설계: 부분 또는 전체 양방향 어텐션(bidirectional attention), 희소 어텐션(sparse attention), 그리고 조정된 포인터 의사 결정 헤드(tuned pointer decision heads)와 같은 선택 사항들이 있습니다.

2. 훈련 (Training)

• ~1.15M개의 검증된 의사 결정 기록을 사용한 전체 매개변수 SFT (Supervised Fine-Tuning).
• 옵션 순서 지정 및 상태 셔플링(state shuffling)에 대한 일관성 훈련.
• 검증된 결과와 심판 피드백을 활용한 RLAF.
• 어떤 방법이 실제로 성능 향상에 기여했는지 검토하는 제거 연구(Ablation studies).흥미롭게도, Drex의 대부분의 개선은 SFT에서 나왔으며, RLAF는 더 작은 이득을 제공하고 보정 능력을 향상시키는 데 그쳤습니다.

3. 평가 (Evaluation)
Drex v1.5는 장문맥 벤치마크(32K–128K 토큰)에서 93.4%의 정확도를 기록했습니다. Drex v2.0은 ~115K개의 비참여 의사 결정에 대해 1.37%의 보정 ECE를 달성했습니다.

• 옵션 순서 셔플링은 전체 정확도를 변경하지 않으면서도 의사 결정 중 상위 답변을 4~6% 변화시킵니다.
• 128K 토큰 컨텍스트에서 100ms 미만의 지연 시간(latency)을 보입니다. 또한, 폐쇄형 지식(closed-book knowledge)과 동일한 백본 아키텍처가 없는 제거 연구에 대한 한계점도 논의합니다.

5. 로컬 실행 (Running locally)
이 모델들은 safetensors 및 GGUF 형식으로 제공되며, llama.cpp와 Ollama를 지원합니다. 이 보고서에는 양자화(quantization), 캐싱(caching), 추론(inference) 및 재현성(reproducibility)에 대한 세부 정보가 포함되어 있습니다.

링크:
기술 블로그 게시물: https://www.nace.ai/research/towards-foundation-decision-models
논문 링크: https://huggingface.co/papers/2611.07854
모델 가중치: https://huggingface.co/collections/nace-ai/drex
GitHub 저장소: https://github.com/nace-ai/drex-decision-models
API: https://console.nace.ai
흥미로운 점은 아키텍처와 훈련 방법론이 단순히 벤치마크 결과만 제시된 것이 아니라 공개적으로 문서화되었다는 것이다. 로컬 에이전트 라우터(local agent routers), 도구 선택(tool selection)을 실험하거나 자체 의사 결정 모델(decision models)을 훈련하는 모든 사람에게 유용할 수 있다.
제출자: /u/m4rkGS [링크] [댓글]