AI 연구 입력 고정 후 재계산: 392개 검사를 통해 알 수 있는 것

AI를 포함하는 연구 워크플로우에서는 '같은 자료를 사용했다'는 설명만으로는 이전 결과를 재현하지 못할 때가 있습니다. 이는 자료의 버전, 예측 기준일, 집계 시 가중치, 출력 저장 방식 등이 개별적으로 변경되기 때문입니다.

이 글에서는 제가 공개한 연구인 'When Models Judge Models'의 수치 재현 패키지를 사용하여, 모델을 다시 실행하지 않고 저장된 계산 결과를 검사하는 절차를 소개합니다. 공개 데이터는 선정된 7개 자산 각각에 대해 14개의 원본 리포트와 총 56개의 집계 출력을 포함하고 있습니다. 이는 임의로 선택한 시장 전체 표본이 아닙니다.

이번에 재현하는 것은 저장된 입력값으로부터 가중치와 예측 경로를 계산하는 처리입니다. 원래 모델 답변을 다시 생성하는 처리나, 예측이 시장에서 맞았는지 평가하는 처리는 아닙니다.

공개 릴리스의 기준은 2026년 10월 1일입니다. 이 시점에서 예측 대상 기간은 만료되지 않았습니다. 원본 예측값을 그 이후의 실제 수익률과 혼동하지 않는 것이 중요합니다.

실행에는 Python 3.10 이상을 사용합니다. 수치 재현 스크립트는 표준 라이브러리로 작동하며, 인증 정보, 데이터베이스 연결, 새로운 모델 호출이 필요 없습니다. 그래프 생성을 위해서는 별도의 의존 라이브러리가 필요하지만, 아래 검사에는 사용하지 않습니다.

git clone https://github.com/TheFutureEdge/research-when-models-judge-models.git
cd research-when-models-judge-models
python3 code/reproduce.py --output /tmp/forecast-reproduction

출력 경로를 분리하는 이유는 포함된 참조 결과를 덮어쓰지 않고, 이번 계산 결과와 비교할 수 있도록 하기 위함입니다. 작업용 디렉토리를 사용할 수 없는 환경에서는 쓰기가 가능한 다른 경로를 지정해 주세요.

이번 재실행을 통해 다음 집계를 확인했습니다.

checks.csv에는 입력 행렬의 형태, 성장률의 유한성과 양수성, 가중치의 식별자나 단일 조건 등 검사별 이름과 판정이 저장됩니다. 예를 들어, 집계 가중치가 기대했던 원본 리포트를 참조하는지 여부를 총합뿐만 아니라 식별자로도 확인합니다.

import csv
from pathlib import Path
path = Path("/tmp/forecast-reproduction/checks.csv")
...

이 코드는 검사의 집계를 읽어옵니다. 392라는 숫자 자체를 목표로 삼기보다는, 어떤 조건들을 검사했는지 그 숫자의 의미를 이해하는 것이 목적입니다.

결정론적 재계산에서는 같은 저장 값으로부터 같은 결과를 만들 수 있는지 검사할 수 있습니다. 반면, 저장된 원본 리포트를 같은 순서로 모델에 다시 전달하더라도 집계 판단이 달라질 수 있습니다.

연구에서는 6개 종목의 동일한 순서 및 익명 조건 재실행에 대해, 5년 누적 예측 수익률의 평균 절대 편차가 기록된 Gemini 집계기와 2.17 퍼센트 포인트, Astra 집계기와 0.93 퍼센트 포인트였습니다. 이는 저장된 예측 간의 차이이며, 실현 수익률이나 모델 우열을 나타내는 숫자가 아닙니다. 각 조건의 반복은 단 1회입니다.

Bitcoin의 순서 변경 및 모델명 공개 조건에는 추가 체크리스트가 포함되어 있어, 같은 처리만 바꾼 비교로 다루지 않습니다. 조건 차이를 읽을 때는 6개 종목의 비교와 Bitcoin의 참고 사례를 구분해 주세요.

자신의 워크플로우에 통합하려면, 입력 파일의 버전, 대상/단위/기준일, 출력, 가중치, 계산 방법, 검사 결과를 함께 저장합니다. 나중에 입력을 수정할 경우, 원래 기록을 지우지 않고 수정본과의 관계를 남깁니다.

공개 패키지에서는 원본 예측 경로와 수치 비교를 재현할 수 있습니다. 다만, 과거 시장 가격 CSV는 재배포하지 않습니다. 그림의 배경에 있는 가격 이력을 다시 만들려면 별도의 이용권을 가진 호환 데이터가 필요합니다.

검사에 합격한 기록은 어디를 검토했는지 명확한 기록입니다. 미래 예측의 정확성, 확률의 교정, 거래의 수익성은 각각 다른 평가 설계로 확인해야 합니다.

Russlan Ramdowar. Future Edge Group 및 iPulse AI의 창업자. 이 글은 자사의 연구 워크플로우를 대상으로 한 공개 연구를 사용합니다.