Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 0.32rc1의 새로운 콘텐츠 주소 지정 가능 로그 기능을 활용하여 OpenAI Chat Completion 스타일의 요청을 지원하는 서버 플러그인을 소개합니다. 개별 메시지 해시를 통해 대화 중복을 제거하며, 설치된 모든 LLM 모델을 호환 가능한 엔드포인트로 노출합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: Simon Willison's Weblog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2026년 7월 30일
LLM 0.32rc1의 새로운 콘텐츠 주소 지정 가능 로그 (content-addressable logs)의 핵심 목표는 다음과 같이 각 들어오는 메시지가 이전 대화를 확장하는 OpenAI Chat Completion 스타일의 요청을 지원하는 것이었습니다:
curl http://localhost:8002/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
...
여기서 대화 상태는 클라이언트에 의해 추적되므로, 각 요청은 점점 더 길어집니다. LLM의 새로운 스키마 (schema) 설계는 개별 메시지 부분의 해시 (hash)를 사용하여 이러한 중복을 제거하도록 설계되었습니다.
이를 테스트하기 위해, 저는 이 플러그인 (plugin)을 만들었습니다:
uv tool install llm --pre
llm install llm-chat-completions-server
llm chat-completions-server -p 9001
이를 실행하면 9001번 포트에서 localhost 서버가 시작되며, ChatGPT Completions와 호환되는 엔드포인트 (endpoint)를 사용하여 (설치된 모든 플러그인으로부터 가져온) 사용자의 전체 LLM 모델 컬렉션을 노출합니다.
GPT-5.6 Sol이 이 모든 것을 작성했습니다. 알고 보니 이 모델은 OpenAI Chat Completions API 형식을 매우 잘 알고 있더군요.