SEISMOGRAPH에 실시간 공개 대시보드가 추가되었습니다
요약
LLM의 성능 저하(drift)를 감지하는 오픈소스 도구인 SEISMOGRAPH에 실시간 공개 대시보드가 추가되었습니다. GPT-4o 및 Claude 3.5 Sonnet 등 주요 모델의 상태를 실시간으로 확인할 수 있습니다.
핵심 포인트
- LLM 성능 저하를 실시간으로 모니터링하는 대시보드 제공
- Claude 3.5 Sonnet의 성능 저하를 사후 분석 전 미리 감지
- Apache-2.0 라이선스의 오픈소스 프로젝트
- pip를 통해 간편하게 설치 가능한 프로브 제공
제가 조용한 LLM 제공업체 드리프트 (drift) 감지에 대해 글을 썼을 당시에는 대시보드가 localhost 전용이어서 제 말을 그대로 믿으셔야만 했습니다. 이제는 라이브로 공개되어 직접 확인하실 수 있습니다:
👉 https://seismograph-weather.onrender.com/dashboard
로그인 없이도 4개의 프로덕션 모델 (GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Claude 3 Haiku)에 대한 실시간 "모델 날씨 (model weather)"를 보여줍니다. 동일한 엔진이 재현 가능한 백테스트 (backtest)를 통해 공식 사후 분석 (postmortem)이 나오기 38일 전에 Claude 3.5 Sonnet의 성능 저하를 감지해냈습니다.
오픈 소스, Apache-2.0, 107개의 테스트.
pip install seismograph-probe
Repo: https://github.com/Tania-coder/SEISMOGRAPH — 공개적으로 구축 중이며, 피드백을 환영합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0