내가 'Por qué no los dos?'를 만들었습니다

저는 기존 LLM 배포에 폐쇄형 결정(closed-set decisions) 기능을 추가하는 작은 Rust 서비스인 pqnld를 만들었습니다. 컨텍스트, 질문, 그리고 허용된 답변들을 제공하면, 모델 로그 확률(logprobs)에서 읽은 선택지와 해당 옵션들에 대한 점수를 반환합니다. JSON을 위해 임의로 만든 신뢰도 수치가 아닙니다. 이것이 전용 결정 모델을 대체하는 것은 아닙니다. 기존 LLM이 일반적인 의사결정 모델 역할을 하도록 합니다. 동일한 가중치(weights)를 사용하며, 두 번째 업무를 수행하게 하는 것입니다. 옵션들은 전체 텍스트 답변 대신 단일 토큰 레이블을 받습니다. 실험적인 확장 레이블 모드에서는 라틴어, 그리스어, 키릴 문자, 숫자 및 구두점을 가져오는데, 이는 토크나이저가 이들이 단일 토큰에 동의할 경우 가능합니다. 26개 옵션에서 멈추는 것이 불필요하게 알파벳 같다고 느꼈기 때문입니다. 제 Qwen3.8 27B NVFP4 배포에서는 200ms 미만의 답변 시간을 보고 있습니다. 사용하시는 환경, 프롬프트, GPU에 따라 다를 수 있습니다. HTTP 및 MCP 인터페이스가 지원됩니다. 추가 모델이나 학습이 필요 없습니다. vLLM을 라이브 테스트 백엔드로 사용했습니다. 그리고 네, 코드는 AI로 작성되었습니다. 충격적이라는 것을 압니다. 장인의 손으로 깎은 Rust는 아닙니다. https://github.com/ErikBPF/pqnld submitted by /u/Difficult_Ad_2778 [link] [comments]