paramount
Paramount를 사용하면 전문가 에이전트가 AI 채팅을 평가할 수 있으며, 다음과 같은 작업이 가능합니다:
- 품질 보증 (Quality Assurance)
- 정답 (Ground Truth) 캡처
- 자동 회귀 테스트 (Automated Regression Testing)
사용법 (Usage)
시작하기 (Getting Started)
- 패키지 설치:
- AI 함수에 데코레이터(Decorator) 적용:
@paramount.record()
def my_ai_function(message_history, new_question):
...
my_ai_function(...)이 여러 번 실행된 후, 결과를 평가하기 위해 Paramount UI를 실행합니다:
이제 SME(Subject Matter Experts, 분야별 전문가)가 녹화된 내용을 평가하고 시간에 따른 정확도 향상을 추적할 수 있습니다.
Paramount는 사용자의 프라이빗 환경에서 완전히 오프라인으로 실행됩니다.
사용법 (Usage)
설치 후, 최소 작동 예제(Minimal Working Example)를 확인하려면 python example.py를 실행하세요.
설정 (Configuration)
성공적인 설정을 위해, 어떤 입력 및 출력 파라미터가 LLM에서 사용되는 채팅 리스트를 나타내는지 정의해야 합니다.
이는 프로젝트 루트 디렉토리에 추가하는 paramount.toml 설정 파일을 통해 수행됩니다.
파일이 처음 실행될 때 존재하지 않는다면 기본값과 함께 자동으로 생성됩니다.
[record]
enabled = true
function_url = "http://localhost:9000"
...
설정을 통해 참조(References)를 기술하는 것도 가능하지만, 단순함을 위해 여기서는 보여주지 않습니다.
자세한 내용은 paramount.toml.example을 참조하세요.
개발자를 위한 안내 (For Developers)
client 및 server에 대한 더 심층적인 설정 지침은 여기에서 확인할 수 있습니다.
Docker
Dockerfile.server를 사용하여 전체 패키지(클라이언트 포함)를 컨테이너화하고 배포할 수 있습니다.
Docker를 사용할 경우, 정상 작동을 위해 paramount.toml 파일을 컨테이너 내부로 동적으로 마운트(Mount)해야 합니다.
docker build -t paramount-server -f Dockerfile.server . # 또는 make docker-build-server
docker run -dp 9001:9001 paramount-server # 또는 make docker-run-server
라이선스 (License)
라이선스 (License)
이 프로젝트는 GPL License를 따릅니다.
