확장 아이디어: 커스텀 샘플러(custom samplers)를 지원하는 llama-server

요약

llama-server에 커스텀 샘플링 로직을 직접 추가할 수 있는 확장 기능 아이디어와 프로토타입을 소개합니다. 이를 통해 사용자는 전체 코드를 포크하거나 래퍼를 만들지 않고도 루프 감지, 단계별 샘플링 파라미터 변경, 개인정보 삭제 등 실험적인 샘플링 기능을 구현할 수 있습니다.

핵심 포인트

• llama-server에 커스텀 샘플러를 추가하여 유연한 샘플링 로직 구현 가능
• 양자화된 모델에서 발생하는 토큰 반복 루프를 감지하고 차단하는 예시 제공
• 사고(thinking), 도구 호출, 문맥 기반 문법 토글 등 다양한 확장 시나리오 제시
• MTP(Multi-Token Prediction) 및 투기적 디코딩(speculative decoding)과 호환 가능