RD-AGENT 제6강 · 예비 등록 실험의 완전한 생명 주기: 두 건의 판결서
요약
본 기사는 금융 시장에서 가설을 세우고 예비 등록 실험(pre-registration experiment)을 거쳐 판결에 이르는 완전한 생명 주기를 다룹니다. 두 가지 실제 사례를 통해 '기각(REJECTED)'과 '결론 도출 불가(INCONCLUSIVE)' 상황에서의 운영 방식을 심층적으로 분석합니다. 판결은 단순한 결과가 아니라, 다음 단계의 실험 설계와 전방 모니터링으로 이어지는 중요한 제도적 과정임을 강조합니다.
핵심 포인트
- 예비 등록은 컴퓨팅 파워가 아닌 시스템적 제도로서 작동한다.
- 개별 가설의 생명 주기는 기각/결론 도출 불가 상황을 다룬다.
- 판결 결과는 다음 실험 설계와 전방 모니터링으로 이어진다.
- 진정한 알파(alpha)는 작고 보기 어려우며, 가짜 알파가 크고 합리적이다.
제6강 · 예비 등록 실험의 완전한 생명 주기: 두 건의 판결서
제2장 · 정직한 검증 (제3강, 본 장 마무리)
학습 목표: 두 개의 실제 가설이 기획부터 판결까지 전 과정을 추적하고, 예비 등록 실험의 운영 세부 사항과 세 가지 판결의 경계를 숙지합니다.
선수 지식: 제4강, 제5강.
1. 이 두 사례를 선택한 이유
제5강의 전체 실패(FAIL)는 '일괄 후보군'의 결말이었습니다. 본 강에서는 개별 가설의 완전한 생명 주기—사람이 아이디어를 내고, 예비 등록으로 작성하고, 검증을 거치며, 판결을 받고, 판결 결과를 이행하는 과정입니다. 두 사례는 하나가 기각(REJECTED)이고 다른 하나가 결론 도출 불가(INCONCLUSIVE)로, '기각 후 어떻게 할지'와 '증거 부족 시 어떻게 할지'라는 가장 어려운 운영 방식을 정확히 다룹니다. (성공(SUPPORTED) 사례는 구조적으로 너무 이른 '대단원'을 피하기 위해 제4장에서 다루었습니다.)
2. 사례 1: 실적 예고 이벤트 창 — REJECTED
2.1 가설
A 주식의 실적 예고 공시 전후로 거래 가능한 가격 결정 편향(pricing deviation) 창이 존재한다: 예고가 예상치를 초과한 종목은 이벤트 후에도 며칠 동안 추세 이동(drift)을 보인다 (잉여 발표 후 추세 이동, PEAD의 예고 버전). 데이터 기반: 실적 예고 데이터(forecast) + 상호명 변경(namechange) 패널.
2.2 예비 등록 핵심 사항
판결 전에 확정된 요소들(발췌): 이벤트 창 정의, 대조군 구성, OOS 창(Out-of-Sample Window), 가격 차이 문턱값(방향 + 규모 + 유의성), 그리고 세 가지 판결의 경계. 어떤 OOS 데이터에 접하기 전까지 아카이브를 완료해야 합니다.
2.3 판결
OOS 가격 차이 -0.49%, 방향 반대. REJECTED, 한 번의 판정.
발견 기간(IS 구간)에서도 사용할 수 있는 양(+)의 가격 차이가 없었습니다—이 세부 사항이 중요합니다: 이는
사례의 실제 처리: OOS 동결, 이후 전방 경로를 따라 재예비 등록 (2026년 12월 조정 주기(调样轮)가 전방 모니터링 범위 내에 있음). '~와 같은 것'도 판결의 일부이다. '이 문제는 지금 답변할 수 없다'는 것을 받아들이는 것이 다중 검증 규율에서 가장 비인간적이고 비용 효율적인 부분이다.
4. 세 가지 판결의 의사 결정 트리 (본 장 마무리)
제4강부터 본 강의까지 모든 사례를 하나의 심판 요약표로 정리해 보자:
예비 등록 검증 결과
├─ 모든 문턱 통과 (DSR/보조 판별 기준/연도별/순 비용/직교)
│ → SUPPORTED → 섀도우 모니터링 30일 (제4장) → 배포 결정
...
트리에는 '대충 일단 소규모 포지션으로 시작하자'로 이어지는 가지가 없다. 포지션은 검증의 대체재가 아니다. 진정한 자본으로 아직 판결되지 않은 가설을 시험하는 것은, 가장 큰 비용을 들여 비재현적인 실험을 하는 것과 같다.
5. 제2장 요약
- 독립 검증 = 시스템적 제도이지 컴퓨팅 파워가 아니다: 예비 등록은 자유도를 고정하고, DSR 보정은 선정 기반을 선택하며, OOS는 일회성 판정을 내린다.
- 대량 후보군의 결말 (제5강): 4단계 감사 스택 전체가 무너지고, AI 공장의 적격 산출물은 후보 가설 흐름이다.
- 단일 가설의 결말 (본 강의): REJECTED는 계족 데이터를 남기고, INCONCLUSIVE는 동결하는 등 전방으로 나아간다. — 판결의 가치는 실행에 있다.
- 유일하게 살아남은 사례의 연율화 수익률은 2.37%에 불과하다: 진정한 알파(alpha)는 작고 보기 어렵고; 가짜 알파(alpha)는 크고 합리적이다.
제2장은 '정직한 검증'이 제도적으로 실행 가능함을 증명했다. 제3장은 그 기반으로 전환한다: 데이터 자체가 문제가 있을 때, 아무리 엄격한 검증이라도 조용히 오염될 수 있다 — 이중 반복권(double-counting), 기준선 위장(baseline artifact), 날짜 스탬프 불일치 등 다섯 가지 실제 데이터의 지뢰가 있다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기