이것이 제 많은 친구들에게 유용하다는 것을 알게 되어 여기에도 공유하고자 합니다.

vLLM과 llama.cpp 같은 엔진들 사이의 불일치를 확인한 후, 대부분의 주요 오픈 소스 프로젝트가 'OpenAI 호환성 (OpenAI compatibility)'을 얼마나 준수하는지에 대한 도구와 문서 페이지를 만들었습니다. 이제 공식 및 비공식 시그니처 (signatures)가 문서화되어 있습니다.

그 외에도 많은 모델 유형에 차이가 존재하므로, 이를 위해 OpenAI 호환성에서 상속된 ht-호환성 (ht-compatibility)도 포함되어 있습니다.

LLM 및 기타 AI 엔드포인트 (endpoints)를 앱 등에 플러그 앤 플레이 (plugging and playing) 방식으로 연결할 때 유용할 수 있는 제가 만든 도구를 공유하고 싶었습니다.

또한, 여러분만의 프록시 (proxy) / 미들웨어 (middleware) 또는 여러분만의 API 인터페이스를 만들고 있다면, 이 도구가 여러분과 여러분의 에이전트 (agents)의 작업을 훨씬 쉽게 만들어 줄 것입니다.

아마도 Anthropic 호환성 및 기타 시그니처를 선택적 확장 기능으로 추가할 수도 있습니다 :) 피드백이나 기여를 환영합니다!

Github: https://github.com/heiervang-technologies/am-i-openai-compatible

Readthedocs: https://heiervang-technologies.github.io/am-i-openai-compatible/

편하게 스타 (star)를 눌러주세요! <3