모델을 변경하기 전에, 검증 대장을 한 줄 작성하기

모델이 작동하게 되면, 다음에 시도하고 싶은 것이 여러 가지 생겨납니다. 특징량을 추가하거나, 줄이거나, 학습 기간을 늘리거나, 설정을 바꾸는 식입니다. AI에게 맡기면 그럴 때마다 코드를 만들 수 있습니다.

다만, 변경하기 전에 무엇을 조사할지 결정하지 않으면, 실행 후에 가장 좋은 숫자를 찾는 작업이 되기 쉽습니다.

이번에는 다음 실험을 실행하기 전에 계획을 저장하는 단계까지 진행합니다. 원고에 계획을 적는 것뿐만 아니라, 실행 시 사용할 입력과 코드도 기록합니다.

다음 실험은, 입력 항목을 하나 줄이기

현재 모델은 경주 번호(艇番)・전국 승률・현지 승률・모터 2연율의 4개 항목을 사용하고 있습니다.

다음번에는 이 중 모터 2연율만 제외합니다. 학습 기간, 학습 설정, 시드, 평가 기간, 1경기 1보트 선택 방식은 동일하게 유지합니다.

모터 정보에 가치가 없다고 미리 결정한 것은 아닙니다. '이 작은 모델에서, 이 항목을 사용할 조건을 바꾸면 선택과 금액이 어떻게 변하는지'를 보기 위한 실험입니다.

입력 원본의 현지 승률 차이는 미해결 문제입니다. 두 모델에 같은 B를 사용하는 것과, 그 값이 마감 전에도 사용 가능했음을 증명하는 것은 별개라는 제약도 계획에 남깁니다.

먼저 대장에 기록할 항목

• 가설: 모터 2연율을 제외하면 선택이 바뀐다. 개선 방향은 미정.
• 변경점: 입력 4개 항목 중 모터 2연율만 제외한다.
• 학습: 1월 1일~5일, 기존과 동일한 조건을 충족하는 916경기.
• 평가: 1월 8일~14일 전체 1,164경기.
• 비교 대상: 원 모델과 1호트 고정.
• 주로 볼 숫자: 같은 전 경기지에 대한 종이 위 차감액(紙上差引)에 대해, 비교 모델 - 원 모델의 차이.
• 금액: 제7회와 동일한 가상 배분・반환・중지 처리.
• 게재 범위: 개선하든 악화되든, 전체 기간과 일별 결과를 남긴다.
• 판단: 이미 결과를 본 단기간의 탐색이므로, 본방 채택은 결정하지 않는다.

결과란은 실행 후에 채웁니다. 계획 파일에 결과를 추가하여 덮어쓰는 것이 아니라, 별도의 결과 파일을 계획에 연결합니다.

이번에 작성한 계획에는 이미 알고 있는 범위의 결과를 명시했습니다. 이는 약점을 숨기기 위한 주의사항이 아니라, 나중에 실험의 의미를 오해하지 않도록 하기 위한 정보입니다.

다음으로 이 계획을 불러와서 실험을 한 번 실행합니다. 기존 모델을 동일한 조건에서 재현할 수 있는지 확인한 후에, 비교 모델의 수치를 봅니다.

교재 및 연재 시작점

논의(Discussion)