v0.14.16
요약
이번 LlamaIndex v0.14.16 릴리스는 LLM 및 임베딩 API 호출에 대한 토큰 버킷 기반 Rate Limiter를 도입하여 서비스의 안정성과 예측 가능성을 크게 높였습니다. 또한, Multimodal LLMReranker 기능을 추가하고 OpenAI Chat Completions에서 `reasoning_content` 지원을 강화했습니다. 핵심적으로 비동기 처리(async) 관련 여러 버그가 수정되어 이벤트 루프 블로킹을 방지하고, 다양한 패키지의 기능적 안정성 및 보안이 개선되었습니다. 개발자는 이 업데이트를 통해
핵심 포인트
- **Rate Limiting 도입:** LLM 및 임베딩 API 호출에 토큰 버킷 기반 Rate Limiter가 추가되어, 정확한 초당/분당 요청 제한(e.g., SlidingWindowRateLimiter) 관리가 가능해졌습니다.
- **멀티모달 및 OpenAI 기능 강화:** Multimodal LLMReranker 기능을 지원하며, `llama-index-llms-openai`에서는 GPT-5 Chat Support와 함께 `reasoning_content` 처리를 개선했습니다.
- **비동기(Async) 안정성 확보:** 이벤트 루프 블로킹을 방지하기 위해 `async retry backoff`가 수정되었으며, 여러 핵심 모듈에서 비동기 작업 처리 방식이 최적화되었습니다.
- **보안 및 구조 개선:** 보안 강화를 위해 SimpleObjectNodeMapping에 RestrictedUnpickler를 추가하고, 전반적인 코드베이스의 안정성(e.g., `docstore_strategy` 보존)을 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 LlamaIndex Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기