게임과 시뮬레이터는 의사결정을 측정 가능한 결과로 변환함으로써 가치 있는 벤치마크를 제공하지만, 현재의 많은 스위트(suites)들은 규칙 중심의 전술적 추론(tactical reasoning), 즉 기하학(geometry), 타이밍(timing), 자원(resources), 목표(objectives), 그리고 규칙 간의 상호작용(rule interactions)이 동시에 중요하게 작용할 때 올바른 선택을 하는 능력을 충분히 테스트하지 못하고 있습니다. 우리는 Dungeons & Dragons 전투에서의 전술적 추론을 위한 벤치마크인 DungeonBench를 소개합니다. DungeonBench는 시뮬레이터에 의해 효과가 해결될 수 있는 2014 System Reference Document 콘텐츠의 대다수를 다루도록 구축되었으며, 단순화된 전투 시뮬레이터가 흔히 추상화해버리는 메커니즘들을 그대로 유지합니다. 매 단계마다 DungeonBench는 완전한 전술적 관찰(tactical observation), 대기 중인 결정, 그리고 이동(movement), 공격(attacks), 주문(spells), 반응(reactions), 목표(objectives), 준비(preparation), 희소 자원(scarce resources)에 걸친 실행 가능한 옵션의 인덱스 목록을 제공합니다. 과제는 액션 이코노미(action economy), 생명체 특성(creature traits), 전장 기하학(battlefield geometry), 타이밍 윈도우(timing windows), 그리고 향후 조우(future encounters)에 따라 결과가 달라지는 합법적인 선택들의 가치를 평가하는 것입니다. DungeonBench는 두 가지 트랙을 가집니다: 단일 전투에서의 국지적 전술 플레이를 평가하는 Encounter 트랙과, 지속적인 히트 포인트(hit points), 주문 슬롯(spell slots), 소모품(consumables), 준비(preparation), 그리고 짧은 휴식(short-rest) 타이밍을 통해 조우들을 연결하여 정책(policies)이 즉각적인 전술적 이점과 미래의 생존성 사이에서 절충(trade-off)하도록 강제하는 Day 트랙입니다. 동일한 엔진 생성 결정 스트림(decision stream)은 휴리스틱 컨트롤러(heuristic controllers), 언어 모델 정책(language-model policies), 학습된 옵션 랭커(learned option rankers), 그리고 마스크 액션 강화학습(masked-action reinforcement-learning) 에이전트를 지원합니다. 우리는 이 공유된 결정 스트림 상에서 최첨단 언어 모델 정책들을 평가합니다. 결과에 따르면 완전한 전술적 관찰이 벤치마크를 포화(saturate)시키지는 않는 것으로 나타났습니다. 최첨단 정책들은 직접적인 조우에서는 자주 승리하지만, 연결된 조우의 날(linked encounter days)에서는 자원 예산 편성(resource budgeting), 휴식 타이밍, 그리고 규칙을 인지하는 전술적 규율(rule-aware tactical discipline)에서의 실패를 드러냅니다.