Brandon-c-tech/RAG-logger

RAG Logger는 검색 증강 생성 (Retrieval-Augmented Generation (RAG)) 애플리케이션을 위해 특별히 설계된 오픈 소스 로깅 도구입니다. 이는 RAG 특화 로깅 요구 사항에 집중하여 LangSmith의 가볍고 오픈 소스적인 대안 역할을 합니다.

📊

포괄적인 RAG 파이프라인 로깅 (Comprehensive RAG Pipeline Logging)

• 쿼리 추적 (Query tracking)

• 검색 결과 로깅 (Retrieval results logging)

• LLM 상호작용 기록 (LLM interaction recording)

• 단계별 성능 모니터링 (Step-by-step performance monitoring)

💾

구조화된 저장 (Structured Storage)

• JSON 기반 로그 형식 (JSON-based log format)
• 일일 로그 정리 (Daily log organization)
• 자동 파일 관리 (Automatic file management)
• 메타데이터 강화 (Metadata enrichment)

from logger import RAGLogger
# 로거 초기화
logger = RAGLogger(log_dir="logs")
...

{
"timestamp": "2024-03-20 10:00:00",
"query": "What is machine learning?",
...

• 자동 로깅을 위한 데코레이터 (decorator) 지원 추가

• 설정 관리 (configuration management) 구현

• 성능 분석 기능 추가

• 일반적인 LLM 제공업체와 통합

• 프롬프트 버전 관리 구현 (alembic과 유사)

• 프롬프트 및 설정을 위한 마이그레이션 (migration) 시스템 추가

• 변경 사항 추적을 위한 Git 통합

• 버전 관리를 위한 CLI 도구 생성

• 로그 시각화를 위한 웹 대시보드 구축

• 프롬프트 버전 관리 UI 추가

• 성능 분석 뷰 구현

• A/B 테스트 비교 도구 생성

• 평가 지표 (evaluation metrics) 추가

• 벡터 스토어 (vector store) 통합 구현

• 분산 로깅 (distributed logging) 지원 추가

• 내보내기/가져오기 (export/import) 기능 생성