AlphaRLM: 문학 기반의 상징적 요인 발견을 위한 언어 모델 정렬

공식적인 알파 마이닝(Formulaic alpha mining)은 방대하고 노이즈가 많은 탐색 공간에서 예측 시장 신호를 포착하는 실행 가능한 표현식을 찾아내는 것을 목표로 합니다. 최근 LLM 기반 접근 방식들은 프롬프팅, 반복 검색 또는 시드-요인 진화 등을 사용하지만, 정책 학습을 통한 직접적인 요인 구성은 덜 탐구된 영역에 남아 있습니다. 이를 해결하기 위해, 우리는 AlphaRLM이라는 강화학습(Reinforcement Learning, RL) 프레임워크를 소개합니다. 이 프레임워크는 입력 요인 표현식 없이 금융 문헌으로부터 실행 가능한 상징적 요인을 구성하도록 LLM을 훈련시킵니다. AlphaRLM은 Literature-Guided Operator Assembly (LEGO)를 통합하여, 문헌에서 파생된 아이디어와 실행 가능한 연산자(operator)에 기반하여 요인 구성을 조건화함으로써 탐색을 위한 의미론적 사전 지식(semantic priors)을 제공합니다. 또한 이는 실행 가능성(executable-validity) 및 그룹별 수익 분리(grouped-return-separation) 보상을 통해 생성 정책을 시장 피드백과 정렬시키며, 이 보상들은 요인 분위수(factor quantiles) 전반에 걸친 비단조적 구조를 포착합니다. CSI 300, CSI 1000 및 S&P 500에 대한 광범위한 실험 결과는 AlphaRLM이 연율화된 초과 수익(annualized excess return) 측면에서 강력한 요인 마이닝 및 LLM 기반 기준 모델들을 능가함을 보여줍니다. 특히, 8B 모델은 강력한 교차 시장 성능을 달성하여, 문헌 조건부이며 시장에 정렬된 요인 생성의 잠재력을 강조합니다.