
2048을 이용한 jev (TypeSafe의 System One 모델) 테스트
요약
본 글은 jev (TypeSafe의 System One 모델)를 2048 게임에 적용하여 성능을 테스트한 내용을 담고 있습니다. 단순히 보드 상태만 제공하는 방식보다, 각 이동이 보드에 미칠 영향을 계산하여 옵션으로 제시했을 때 가장 좋은 성능을 보여주었습니다. 특히, jev에게 '보드와 각 이동에 대한 규칙 및 설명'과 같은 구조화된 정보를 제공하는 것이 모델의 추론 능력을 극대화함을 입증했습니다.
핵심 포인트
- 제공되는 정보가 많을수록 (이동 결과 계산) 성능 향상
- 단순 보드 상태만으로는 무작위 수준에 머무름
- 구조화된 입력(규칙, 설명 등) 제공의 중요성 강조
저는 마침내 jev (jev-1.13.0)를 테스트해 볼 기회를 얻었습니다. 2048 게임에서 아주 잘할 것이라고 생각했습니다.
제가 사용한 전략은 다음과 같습니다: 현재 보드 상태를 제공하고 상, 하, 좌, 우 이동 옵션을 주는 방식이었습니다. 저는 이 방식을 네 가지 방식으로 시도했습니다 (표의 jev 행들). 각 행은 제가 보낸 요청을 연결합니다.
보드만 가지고는 무작위로 움직이는 것과 비슷한 수준입니다. 코드가 각 이동이 보드에 어떤 영향을 미칠지 계산하여 그중에서 jev가 선택하게 할 때 가장 좋은 성능을 보였습니다. 그다음으로는 고정된 규칙(예: 아무것도 움직이지 않는 경우 항상 왼쪽, 아니면 아래, 아니면 오른쪽, 아니면 위)과 비슷한 수준입니다.
제가 충분한 시간을 보내지 못해서 아마 무언가를 놓치고 있는 것 같습니다.
모든 게임은 끝까지 플레이되었습니다.
| player | games | min | median | max | best tile | first choice did nothing |
|---|---|---|---|---|---|---|
| random moves | 48 | 512 | 1102 | 2672 | 256 | n/a |
| ... | ||||||
| first choice did nothing: jev의 첫 번째 선택이 보드를 변화시키지 않는 이동(예: 모든 타일이 이미 왼쪽 벽에 붙어 있고 합칠 수 있는 것이 아무것도 없을 때의 '왼쪽')이었던 경우, 저는 그 다음 선택을 플레이했습니다. |
n/a: 무작위 및 고정 규칙은 움직이는 것만 선택하며, 마지막 jev 행에서는 그것들이 유일하게 제공되는 옵션이었습니다.
같은 보드에 대한 jev의 네 가지 요청입니다.
jev, 보드를 받음.
{
"state": {
"board": {
...
jev, 보드와 각 이동에 대한 규칙 및 설명을 받음.
{
"state": {
"board": {
...
jev, 보드와 팁을 받음.
{
"state": {
"board": {
...
jev, 보드에서 각 이동이 가져올 결과, 점수, 그리고 동일한 팁을 받음. 아래(down)는 여기서 아무것도 하지 않을 것이기 때문에 누락되었습니다.
{
"state": {
"boards": {
...
AI 자동 생성 콘텐츠
본 콘텐츠는 Lobste.rs AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기