인간은 경험을 전략이나 주의 사항과 같은 재사용 가능한 추상화(abstractions)로 증류하며, 이를 적용하여 문제를 점진적으로 더 효과적으로 해결합니다. 우리는 거대 언어 모델(LLMs)도 이와 유사하게 이러한 경험적 추상화로부터 이득을 얻을 수 있는지 연구합니다. MATH 학습 데이터셋에 대한 LLMs의 해결 흔적(solution traces)으로부터, 더 강력한 교사(teacher) 모델 또는 LLM 스스로가 자연어 추상화를 추출하여 검색 가능한 라이브러리로 만듭니다. 우리는 두 가지 사용 모드를 탐색합니다: (1) 추론 시 검색(inference-time retrieval) 및 (2) 추상화가 강화된 학습 프롬프트를 활용한 강화학습 (RL). 경험적 추상화는 수학 및 논리적 추론 벤치마크에서 LLM의 성능을 향상시킵니다. 스스로 추출한 추상화는 교사가 추출한 것과 일치하며, 우리의 추상화 사용 프레임워크는 다른 데이터셋과 모델로 전이될 수 있습니다. 이러한 발견은 LLM이 인간이 증류된 경험을 활용하는 것과 매우 유사하게 경험적 추상화를 추출하고 적용할 수 있음을 시사합니다.