DecisionTune 1.0: 옵션 목록에서 선택하는 395M 인코더 (MLX 기반)

공개 고지: 제가 만든 것입니다. 이 모델은 완전히 로컬로 작동하고 크기가 작기 때문에 여기에 공유하며, 자체 장치에서 모델을 실행하는 분들의 피드백을 받고 싶습니다.
무엇인가요: 395M 규모의 의사 결정 모델(ModernBERT-large와 4 KB 스코어링 헤드를 결합). 이 모델에 상태(state), 질문(question), 그리고 옵션 목록(list of options)을 제공합니다. 한 번의 인코더 패스만 수행하고, 각 옵션에 대한 확률 또는 예/아니오 질문일 경우 P(yes)를 반환합니다. 텍스트를 생성하지는 않습니다.
로컬 스택에서 유용할 수 있는 이유: 에이전트가 하루 동안 내리는 작은 결정들(어떤 도구를 호출할지, 어떤 대기열에 티켓을 할당할지, 이 답변이 질문에 답하는지 여부)은 거대한 생성 모델을 필요로 하지 않습니다. 이 모델은 네트워크 연결 없이 자체 장치에서 이를 처리합니다.
로컬 성능 수치 (저희 하드웨어 기준이며, 사용자 환경과 다를 수 있음):

• M5 Pro Mac, MLX 백엔드: 짧은 결정당 중앙값 9.6 ms, GPU 메모리 1.7 GB.
• CPU 전용: 짧은 결정당 약 65 ms, 최대 4.5 GB의 메모리.
• 전체 Decision Index 실행 시간 (저희 노트북 기준): 중앙값 25.9 ms, p95 407.8 ms.
  가중치(Weights): fp32 기준으로 1.58 GB. 컨텍스트 제한은 8,192 토큰입니다. 더 긴 입력은 거부하며, 잘라내지 않습니다.
  백엔드: PyTorch (기본값), Apple silicon용 MLX (pip install "decision-tune[mlx]", Python 3.11 이상 필요, 자동 선택됨) 및 ONNX를 지원합니다. Torch와 MLX는 2,755개 질문 중 99.85%에서 동일한 답변을 제공했습니다. 매번 출시 전에 PyTorch, ONNX, MLX 모두 50개의 모든 패리티 행에 대해 기록된 답변과 일치합니다.
  오프라인 사용: 첫 다운로드 후에는 인터넷이 필요 없습니다. 이 패키지는 다운로드 전에 사용자에게 요청하고 SHA-256 매니페스트와 모든 파일을 확인합니다.
  품질: Decision Index 0.2.1에서 29.57을 기록했습니다 (완전한 실행 기준; 두 번째 시드 값은 29.13). 가장 강력한 영역은 Tools & Automation으로, 46.5점을 기록하여 이전 버전 0.9의 28.1점에서 향상되었습니다.
  제한 사항: 제공된 옵션 목록에서만 선택할 수 있습니다. 기준이 없는 모호한 질문은 약한 결과를 초래하므로, 옵션을 설명해야 합니다 (

사용해보기:
uvx decision-tune ask "고객이 환불을 요청하는 건가요?" --state "주문한 물건이 파손되어 도착했어요. 돈을 돌려받고 싶어요."
또는 브라우저 앱에서: pip install "decision-tune[mlx]" 후 decisiontune app 실행
로컬 어시스턴트가 라우팅 및 예/아니오 확인 작업을 MCP 서버(decisiontune mcp)로 처리하도록 할 수도 있습니다.
모델 카드: https://huggingface.co/decision-tune/decisiontune-1.0 코드: https://github.com/decision-tune/decision-tune 사이트: https://decisiontune.com/?utm_source=reddit&utm_medium=social&utm_campaign=launch&utm_content=localllama
만약 직접 테스트해 보신 결정 사항이 있다면, 어디서 잘못 판단했는지 알려주시면 감사하겠습니다.
/u/Abe238 님이 제출함
[링크] [댓글]