ARC-1: 17억 개 파라미터의 의사 결정 모델 (선택/점수/예-아니오, 확률 포함)으로 4060 Ti에서 약 20ms 응답

저는 지난 11일 동안 유형별 의사 결정을 위한 작은 모델을 훈련시켰습니다. 지원 티켓 라우팅, 의도 감지(intent detection), 중재(moderation), '에이전트가 이 도구를 호출해야 하는가'와 같은 종류의 작업입니다. 여기에 컨텍스트와 질문을 제공하면, 선택지, 점수 또는 예/아니오 확률을 반환합니다. 17억 개 파라미터 (Qwen3-1.7B-Base + LoRA)를 사용했습니다. 각 옵션은 자체 브랜치로 점수가 매겨지기 때문에 옵션 순서가 중요하지 않습니다. 단일 RTX 4060 Ti에서 짧은 요청에 대해 약 16ms, JevBench 항목에서는 중앙값으로 약 25ms가 소요됩니다. 배치 크기 1 기준, JevBench 공개 231: 68.4% (Jev 86.6, Strands Decider 2B 72.3 자체 보고, Laya 58.4). DecideBench v1.1: 75.5% 하나의 순방향 패스(forward pass)에서 동일한 텍스트에 대한 여러 질문을 처리합니다. 가중치는 훈련 데이터의 일부가 비상업적이므로 CC BY-NC 4.0입니다. 코드는 Apache 2.0입니다. 솔직히 말씀드리자면, Jev와 같은 호스팅된 API보다 정확도가 현저히 낮으며, README에 손실을 보는 경우를 포함하여 모든 수치가 나와 있습니다. 장점은 빠르고, 로컬에서 실행되며, 무료라는 점입니다. GitHub: https://github.com/realslapout/arc-1 가중치(Weights): https://huggingface.co/realslapout/ARC-1 Colab (무료 GPU): https://colab.research.google.com/github/realslapout/arc-1/blob/main/notebooks/quickstart.ipynb 질문에 답변드리거나, 어디서 문제가 발생하는지 듣고 싶습니다.