본문으로 건너뛰기
arXiv논문2026. 10. 07. 02:49
Vosti: 결정론적 LLM 추론 명세화, 구현 및 검증 대표 이미지

Vosti: 결정론적 LLM 추론 명세화, 구현 및 검증

원문 발행 2026. 09. 30. 13:58원문 언어 영어AI 한국어 번역arXiv cs.PL (Programming Languages) 원문 보기

요약

본 논문은 LLM 추론 시스템의 결정론적 동작을 위한 공식적인 명세를 제시하며, 이를 구현한 Vosti 엔진을 소개합니다. Vosti는 런타임 상태와 독립적으로 커널을 선택하고 KV 캐시를 관리하여, 동일 입력에 대해 실행 간 비트 단위로 동일한 로짓 생성을 보장합니다. 이는 기존 프로덕션 시스템의 결정론적 한계를 극복하는 연구 결과입니다.

핵심 포인트

  • LLM 추론의 결정론적 동작을 위한 공식 명세 제시
  • Vosti 엔진은 런타임 상태와 독립적인 커널 선택 및 KV 캐시 관리 구현
  • 동일 입력에 대해 실행 간 비트 단위로 동일한 로짓 생성 보장
  • 디코드 중심 워크로드에서 vLLM과 비교 가능한 성능 달성

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
3

댓글

0