graniet/llm

참고: 이 crate 이름은 이전에 다른 프로젝트의 소유였습니다. 현재 구현은 새롭고 다른 라이브러리를 나타냅니다. 이전 crate은 현재 아카이브되었으며 더 이상 업데이트를 받지 않습니다.ref: https://github.com/rustformers/llm

LLM은 하나의 프로젝트에서 **다중 LLM 백엔드 (multiple LLM backends)**를 사용할 수 있게 해주는 Rust 라이브러리입니다: OpenAI, Anthropic (Claude), Ollama, DeepSeek, xAI, Phind, Groq, Google, Cohere, Mistral, Hugging Face 및 ElevenLabs.
Stripe의 경험과 유사한 통합 API (unified API) 및 **빌더 스타일 (builder style)**을 통해, 구조체와 crate을 늘리지 않고도 채팅 (chat), 텍스트 완성 (completion), 음성-텍스트 변환 (speak-to-text) 요청을 쉽게 생성할 수 있습니다.

멀티 백엔드 (Multi-backend): 단일 진입점을 통해 OpenAI, Anthropic, Ollama, DeepSeek, xAI, Phind, Groq, OpenRouter, Cohere, Elevenlabs 및 Google을 관리합니다.
다단계 체인 (Multi-step chains): 각 단계마다 서로 다른 백엔드를 사용하는 다단계 체인을 생성합니다.
템플릿 (Templates): 변수를 사용하여 복잡한 프롬프트 (prompts)를 생성하는 데 템플릿을 사용합니다.
빌더 패턴 (Builder pattern): 몇 번의 간단한 호출로 LLM (모델, temperature, max_tokens, 타임아웃...)을 구성합니다.
채팅 및 완성 (Chat & Completions): 두 가지 통합 트레이트 (traits) (ChatProvider 및 CompletionProvider)

)를 통해 대부분의 유스케이스 (use cases)를 지원합니다.

확장성 (Extensible): 새로운 백엔드 (backends)를 쉽게 추가할 수 있습니다.
Rust 친화적 (Rust-friendly): 명확한 트레이트 (traits), 통합된 에러 핸들링 (error handling), 그리고 features를 통한 조건부 컴파일 (conditional compilation)을 고려하여 설계되었습니다.
검증 (Validation): 요청에 검증을 추가하여 출력이 예상한 대로인지 확인합니다.
회복 탄력성 (Resilience (retry/backoff)): 지수 백오프 (exponential backoff) 및 지터 (jitter)를 사용하여 회복 탄력성 있는 호출을 활성화합니다.
평가 (Evaluation): 요청에 평가를 추가하여 LLM의 출력을 점수화합니다.
병렬 평가 (Parallel Evaluation): 여러 LLM 제공업체를 병렬로 평가하고 점수 함수 (scoring functions)를 기반으로 최적의 응답을 선택합니다.
함수 호출 (Function calling): 요청에 함수 호출을 추가하여 LLM에서 도구 (tools)를 사용합니다.
REST API: OpenAI 표준 형식을 사용하여 모든 LLM 백엔드를 REST API로 제공합니다.
비전 (Vision): 요청에 비전을 추가하여 LLM에서 이미지를 사용합니다.
추론 (Reasoning): 요청에 추론을 추가하여 LLM에서 추론을 사용합니다.
구조화된 출력 (Structured Output): 제공된 JSON 스키마 (JSON schema)를 기반으로 특정 LLM 제공업체로부터 구조화된 출력을 요청합니다.
음성-텍스트 변환 (Speech to text): 오디오를 텍스트로 전사 (transcribe)합니다.
텍스트-음성 변환 (Text to speech): 텍스트를 오디오로 변환합니다.
메모리 (Memory): 슬라이딩 윈도우 (sliding window, 곧 다른 방식 추가 예정) 및 공유 메모리 (shared memory) 지원을 통해 대화 기록을 저장하고 검색합니다.
에이전트 기능 (Agentic): 구성 가능한 트리거 (triggers), 역할 (roles) 및 검증을 통해 공유 메모리로 협력할 수 있는 반응형 에이전트 (reactive agents)를 구축합니다.

단순히 Cargo.toml에 LLM을 추가하세요:

[dependencies]
llm = { version = "1.3.8", features = ["openai", "anthropic", "ollama", "deepseek", "xai", "phind", "google", "groq", "mistral", "elevenlabs"] }

LLM에는 다양한 LLM 모델과 쉽게 상호작용할 수 있는 명령줄 도구 (command-line tool)가 포함되어 있습니다. 다음 명령어로 설치할 수 있습니다: cargo install llm

llm을 사용하여 대화형 채팅 세션을 시작합니다.
llm openai:gpt-4o를 사용하여 특정 제공업체:모델 (provider:model)과 대화형 채팅 세션을 시작합니다.
llm set OPENAI_API_KEY your_key를 사용하여 API 키를 설정합니다.
llm default openai:gpt-4를 사용하여 기본 제공업체를 설정합니다.
echo "Hello World" | llm을 사용합니다.

파이프(pipe)를 사용하려면: llm --provider openai --model gpt-4 --temperature 0.7을 사용합니다.

고급 옵션:

표준 메시지(standard messages) 형식을 사용합니다.
여러 LLM 백엔드(backends)를 함께 연결하기 위해 스텝 체인(step chains)을 사용합니다.
OpenAI 표준 형식을 갖춘 REST API를 통해 체인을 노출합니다.

[dependencies]
llm = { version = "1.3.8", features = ["openai", "anthropic", "ollama", "deepseek", "xai", "phind", "google", "groq", "api", "mistral", "elevenlabs"] }

자세한 내용은 api_example을 참조하세요.

이름	설명
`anthropic_example`	채팅 완성(chat completion)을 위해 Anthropic의 Claude 모델과 통합하는 방법을 보여줍니다
`anthropic_streaming_example`	실시간 토큰 생성을 보여주는 Anthropic 스트리밍(streaming) 채팅 예제
`chain_example`	프로그래밍 언어의 기능을 탐색하기 위한 다단계 프롬프트 체인(prompt chains)을 생성하는 방법을 보여줍니다
`deepseek_example`	deepseek-chat 모델을 사용한 기본적인 DeepSeek 채팅 완성 예제
`embedding_example`	OpenAI API를 사용한 기본적인 임베딩(embedding) 예제
`multi_backend_example`	단일 워크플로우(workflow)에서 여러 LLM 백엔드(OpenAI, Anthropic, DeepSeek)를 함께 연결하는 방법을 설명합니다
`ollama_example`	Ollama 통합을 통해 로컬 LLM을 사용하는 예제
`openai_example`	GPT 모델을 사용한 기본적인 OpenAI 채팅 완성 예제
`resilient_example`	간단한 재시도/백오프(retry/backoff) 래퍼(wrapper) 사용법
`openai_streaming_example`	실시간 토큰 생성을 보여주는 OpenAI 스트리밍(streaming) 채팅 예제
`phind_example`	Phind-70B 모델을 사용한 기본적인 Phind 채팅 완성 예제
`validator_example`	Anthropic의 Claude 모델을 사용한 기본적인 검증기(validator) 예제
`xai_example`	Grok 모델을 사용한 기본적인 xAI 채팅 완성 예제
`xai_streaming_example`	실시간 토큰 생성을 보여주는 X.AI 스트리밍(streaming) 채팅 예제
`evaluation_example`	Anthropic, Phind 및 DeepSeek을 사용한 기본적인 평가(evaluation) 예제
`evaluator_parallel_example`	여러 LLM 제공업체를 병렬로 평가합니다
`google_example`	Gemini 모델을 사용한 기본적인 Google Gemini 채팅 완성 예제

다음은 채팅 완성 (chat completion)을 위해 OpenAI를 사용하는 기본적인 예제입니다. 다른 백엔드 (Anthropic, Ollama, DeepSeek, xAI, Google, Phind, Elevenlabs), 임베딩 (embedding) 기능 및 더 고급 사용 사례는 examples 디렉토리를 참조하세요.

use llm::{
builder::{LLMBackend, LLMBuilder}, // 빌더 패턴 (Builder pattern) 구성 요소
chat::ChatMessage, // 채팅 관련 구조체
...

graniet/llm

요약

핵심 포인트

댓글