Show HN: Paramount – AI 고객 지원의 인간 평가 (Human Evals)

paramount

Paramount를 사용하면 전문가 에이전트가 AI 채팅을 평가할 수 있으며, 다음과 같은 작업이 가능합니다:

• 품질 보증 (Quality Assurance)
• 정답 (Ground Truth) 캡처
• 자동 회귀 테스트 (Automated Regression Testing)

사용법 (Usage)

시작하기 (Getting Started)

1. 패키지 설치:

pip install paramount

2. AI 함수에 데코레이터(Decorator) 적용:

@paramount.record()
def my_ai_function(message_history, new_question): # 입력값 (Inputs)
    # <LLM 호출이 여기서 발생합니다>
...

3. my_ai_function(...)이 여러 번 실행된 후, 결과를 평가하기 위해 Paramount UI를 실행합니다:

paramount

이제 SME(Subject Matter Experts, 분야별 전문가)가 녹화된 내용을 평가하고 시간에 따른 정확도 향상을 추적할 수 있습니다.

Paramount는 사용자의 프라이빗 환경에서 완전히 오프라인으로 실행됩니다.

사용법 (Usage)

설치 후, 최소 작동 예제(Minimal Working Example)를 확인하려면 python example.py를 실행하세요.

설정 (Configuration)

성공적인 설정을 위해, 어떤 입력 및 출력 파라미터가 LLM에서 사용되는 채팅 리스트를 나타내는지 정의해야 합니다.

이는 프로젝트 루트 디렉토리에 추가하는 paramount.toml 설정 파일을 통해 수행됩니다.

파일이 처음 실행될 때 존재하지 않는다면 기본값과 함께 자동으로 생성됩니다.

[record]
enabled = true
function_url = "http://localhost:9000"  # 재생(Replay)을 위한 LLM API Flask 앱의 URL
...

설정을 통해 참조(References)를 기술하는 것도 가능하지만, 단순함을 위해 여기서는 보여주지 않습니다.

자세한 내용은 paramount.toml.example을 참조하세요.

개발자를 위한 안내 (For Developers)

client 및 server에 대한 더 심층적인 설정 지침은 여기에서 확인할 수 있습니다.

Docker

Dockerfile.server를 사용하여 전체 패키지(클라이언트 포함)를 컨테이너화하고 배포할 수 있습니다.

Docker를 사용할 경우, 정상 작동을 위해 paramount.toml 파일을 컨테이너 내부로 동적으로 마운트(Mount)해야 합니다.

docker build -t paramount-server -f Dockerfile.server . # 또는 make docker-build-server
docker run -dp 9001:9001 paramount-server # 또는 make docker-run-server

라이선스 (License)

라이선스 (License)

이 프로젝트는 GPL License를 따릅니다.