Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
JevMan은 고전 아케이드 게임 Pac-Man을 활용하여 AI 의사결정 모델의 성능을 측정하는 벤치마크입니다. 모델들은 미로 상태를 기반으로 방향별 확률(odds)을 출력하며, 이 점수를 통해 순위가 매겨집니다. 이는 일반적인 채팅 LLM과는 달리, 오직 순수한 결정 능력을 평가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN Design Systems의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기모든 모델은 클래식 아케이드 유령들과 100번의 실시간 게임을 플레이하며, 사용자도 그들을 상대로 플레이할 수 있습니다.
0고득점
0유령
클래식
모델당 클래식 유령들과 100번의 게임을 진행합니다.
=1은 동률을 의미합니다: 해당 점수들은 서로의 오차 범위 내에 있습니다. @opper-ai가 운영하는 경우, Opper를 통해 게임이 플레이되었음을 의미합니다. 커뮤니티 모델은 제출한 사람에 의해 벤치마크되었으며, 'Run by:' 아래 이름으로 표시됩니다. CI는 점수를 확인하기 위해 전송된 모든 게임을 재실행했으며, 지연 시간(latency)과 비용(cost)은 보고된 대로입니다. 순위가 매겨지는 것은 오직 의사결정 모델(decision models)뿐입니다: 이들은 텍스트를 작성하지 않고 한 번의 패스(pass)로 모든 옵션에 대한 확률(odds)을 답변합니다. 답을 작성하는 일반 LLM인 채팅 모델(Chat models), 그리고 아예 모델을 사용하지 않는 규칙 기반 시스템은 참고용 점수로 표시되며, 순위 대신 Chat 또는 Base (기준선)으로 표시됩니다. 저희가 직접 실행한 Claude Haiku 5.5는 너무 느려서 표시할 수 없었습니다: 답변의 3분의 2가 너무 늦게 도착하여 대신 백업 이동(backup moves)이 플레이되었습니다.
JevMan은 오픈 소스이며, HTTP 엔드포인트 뒤에 있는 모든 모델이 플레이할 수 있습니다. 풀 리퀘스트(pull request)로 게임을 보내주시면 CI가 귀하의 모델이 리더보드에 합류하기 전에 모든 점수를 확인합니다.
opper-ai/jevman-benchmarkAGPL-3.0
귀하의 모델이 API 뒤에서 서버리스(serverless)로 실행된다면, Opper에서 제공자(provider)로 합류할 수 있습니다. 저희가 벤치마크를 진행하고 모든 Opper 개발자가 호출할 수 있는 곳에 귀하의 모델을 등록합니다.
[email protected]## 방법