StratFormer: 불완전 정보 게임에서의 적응적 상대 모델링 및 활용

요약

StratFormer는 불완전 정보 게임에서 상대를 동시에 모델링하고 이를 전략적으로 활용하는 트랜스포머 기반 메타 에이전트입니다. 이 모델은 두 단계 커리큘럼을 통해, 초기에는 GTO 정책에 따라 상대의 행동 패턴을 학습하며, 점차 각 상대별로 최적 응답(BR) 활용으로 전환됩니다. Leduc Hold'em과 같은 포커 게임 변형에서 테스트된 StratFormer는 기존 GTO 대비 평균적으로 상당한 수준의 활용 가능성 증가를 달성하여 높은 성능을 입증했습니다.

핵심 포인트

• StratFormer는 불완전 정보 게임(Imperfect Information Games)에 특화된 트랜스포머 기반 메타 에이전트입니다.
• 두 단계 커리큘럼을 사용하여, 먼저 상대 모델링을 학습하고 점진적으로 최적 응답(BR) 활용으로 정책을 전환합니다.
• 듀얼 턴 토큰과 버킷-레이트 특징 같은 독자적인 아키텍처 요소를 도입하여 에이전트와 상대를 정교하게 인코딩합니다.
• Leduc Hold'em 테스트에서 GTO 대비 평균 +0.106 BB의 활용 증가를 달성하며, 특히 고활용 상대에게서 큰 이점을 보였습니다.