Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 실제 게임인 Balatro를 플레이하며 전략적 능력을 평가하는 오픈 벤치마크 'Evalatro'가 공개되었습니다. 모델은 텍스트 구조로 게임 상태를 전달받아 스스로 플레이하며, 재현성을 위한 고정 시드와 공개 리더보드를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기안녕하세요! 제가 Evalatro를 만들었습니다. 여러분의 LLM이 실제 Balatro를 플레이하는 오픈 벤치마크입니다. 진짜 게임이죠. 제가 게임을 플레이하면서 Claude에게 레벨을 깨는 데 도움을 달라고 계속 요청하면서(네, 제가 너무 약해서요) 시작되었습니다. 그냥 스크린샷을 던져주고 전술을 물어보곤 했죠. 그러다 아이디어가 더 커졌고, 조금 더 깊게 파고들어 보기로 했습니다. 파고들어 보니... 처음에는 모드를 통해 MCP를 구축하고 싶었지만, 이미 존재하는 것이 있더군요 - balatrobot (원작자에게 경의를 표합니다). 그렇게 시작되었습니다. 모델은 게임에 연결되며, 매 턴마다 이미지가 아닌 텍스트 구조로 상태를 전달받아 스스로 무엇을 플레이할지 결정합니다. 전술적 힌트는 없습니다.
이미 구현된 기능:
지금까지는 모델을 아주 조금, 몇 개만 실행해 보았으므로 순위표가 아닌 탐색 단계로 간주해 주세요. 하지만 이미 재미있는 결과가 나왔습니다. 아무도 Ante 12 근처에도 가지 못했습니다. 선두인 mimo-v2.5-pro는 겨우 Ante 5까지 기어갔습니다. deepseek-v4-pro도 있었는데, Ante 8의 보스를 깨지 못했습니다만, 리더보드 업데이트 이후 결과를 잃어버렸습니다.
따라서 도전은 활짝 열려 있습니다. 모델들이 고전하는 모습을 와서 지켜보세요. Balatro 플레이어들과 LLM 커뮤니티의 피드백을 받고 싶습니다: Ante 12가 합리적인 기준인가요, 아니면 과한가요? "도달함 / 도달하지 못함" 외에 측정할 가치가 있는 다른 것은 무엇일까요? 벤치마크를 속일 수 없도록 구멍을 어떻게 메워야 할까요?
저는 벤치마크를 구축하는 데 아주 능숙한 전문가는 아닙니다. 추신: GitHub에서 별(star)을 눌러주신다면 끝없이 감사하겠습니다! 링크: Github: https://github.com/alesha-pro/evalatro Public Dashboard: evalatro.dev /u/awfulalexey 님이 r/LocalLLaMA에 제출함 [link] [comments]