llm-chat-completions-server 0.1a0

2026년 7월 30일

LLM 0.32rc1의 새로운 콘텐츠 주소 지정 가능 로그 (content-addressable logs)의 핵심 목표는 다음과 같이 각 들어오는 메시지가 이전 대화를 확장하는 OpenAI Chat Completion 스타일의 요청을 지원하는 것이었습니다:

curl http://localhost:8002/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
...

여기서 대화 상태는 클라이언트에 의해 추적되므로, 각 요청은 점점 더 길어집니다. LLM의 새로운 스키마 (schema) 설계는 개별 메시지 부분의 해시 (hash)를 사용하여 이러한 중복을 제거하도록 설계되었습니다.

이를 테스트하기 위해, 저는 이 플러그인 (plugin)을 만들었습니다:

uv tool install llm --pre
llm install llm-chat-completions-server
llm chat-completions-server -p 9001

이를 실행하면 9001번 포트에서 localhost 서버가 시작되며, ChatGPT Completions와 호환되는 엔드포인트 (endpoint)를 사용하여 (설치된 모든 플러그인으로부터 가져온) 사용자의 전체 LLM 모델 컬렉션을 노출합니다.

GPT-5.6 Sol이 이 모든 것을 작성했습니다. 알고 보니 이 모델은 OpenAI Chat Completions API 형식을 매우 잘 알고 있더군요.

최근 기사