저장소 링크 및 결과 - https://github.com/Abhinand20/MathFormer

작업 (Task): (7-3z)(-5z-9)와 같이 인수분해된 식(factorized expression)이 주어졌을 때, 전개된 형태(expanded form)인 15z2-8z-63를 예측하는 것

핵심 요점 (Key takeaway): 수학적 지식 없이 학습된 아주 작은 (4M 파라미터) seq2seq 모델이 기호 수학 (symbolic math) 작업에서 약 98.6%의 정확도에 도달했습니다. 이는 모델이 연산자 (operators)나 변수 (variables)에 대한 개념을 학습하기보다는 구조적 토큰 변환 (structural token transformations)을 학습한다는 것을 시사합니다. 이를 확장하는 것은 LLM이 수학적으로 "추론"하는 것처럼 보이는 이유를 설명하는 데 도움이 될 수 있는데, 실제로는 대규모의 구조화된 패턴 완성 (structured pattern completion)을 수행하고 있는 것일 수도 있기 때문입니다.

기본적인 아키텍처가 여전히 어텐션 (attention)에 기반하고 있다는 점을 고려할 때, 강화학습 (RL)은 이 패러다임을 어떻게 변화시킬까요?
/u/AlphaCode1 이 r/MachineLearning 에 제출함
[link] [comments]