MOT-SR: 대규모 언어 모델(LLM)을 활용한 다중 목적 도구 증강 과학 방정식 발견
요약
MOT-SR은 LLM과 외부 분석 도구를 결합하여 과학적 방정식을 발견하는 새로운 프레임워크입니다. 정확도, 복잡성, 일반화를 동시에 최적화하는 다중 목적 평가를 통해 기존 기호 회귀 모델의 한계를 극복했습니다.
핵심 포인트
- 외부 도구를 활용한 구조적 사전 정보 추출 및 방정식 생성 가이드
- 정확도와 일반화 성능을 동시에 최적화하는 다중 목적 평가 모듈 도입
- 메타 전략 생성기와 방정식 생성기 간의 폐쇄 루프 협업 구조
- 중력파 천문학의 EMRI 궤도 모델링을 통한 실질적 성능 검증
기호 회귀 (Symbolic Regression, SR)는 관측 데이터로부터 분석적 방정식을 발견하는 것을 목표로 하며, 과학적 모델링에서 핵심적인 역할을 합니다. 최근 대규모 언어 모델 (Large Language Model, LLM) 기반의 접근 방식들이 유망한 결과를 보여주고 있지만, 두 가지 한계점에 직면해 있습니다. 첫째, 변수 간의 의존성을 밝혀내기 위한 데이터 분석 메커니즘이 부족하여 방정식 발견의 효율성이 저하됩니다. 둘째, 대부분의 방법론이 피팅 오차 (fitting error)에만 집중된 단일 목적 평가에 의존합니다. 이러한 구조적 복잡성 및 일반화 (generalization)에 대한 무시는 모델이 국소 최적해 (local optima)로 조기에 수렴하게 만들어, 더 넓은 방정식 공간을 탐색하는 능력을 제한하는 경우가 많습니다. 우리는 외부 분석 도구를 통합하여 구조적 사전 정보 (structural priors)를 추출하고 방정식 생성을 가이드하는 동시에, 동적 파레토 프런트 (Pareto front)를 유지하는 다중 목적 평가 모듈을 통해 정확도, 복잡성, 일반화를 공동으로 최적화하는 통합 프레임워크인 다중 목적 도구 증강 기호 회귀 (Multi-Objective Tool-augmented Symbolic Regression, MOT-SR)를 제안합니다. MOT-SR은 두 개의 협업하는 LLM 모듈을 채택합니다: 파레토 최적 방정식 (Pareto-optimal equations)을 기반으로 도구를 선택하고 구조적 최적화 전략을 합성하는 메타 전략 생성기 (Meta Strategy Generator), 그리고 이에 따라 새로운 후보 방정식을 생성하는 방정식 생성기 (Equation Generator)입니다. 이 시스템은 폐쇄 루프 (closed-loop) 방식으로 작동하며, 전략과 방정식 구조를 지속적으로 개선합니다. 40개의 표준 과업에 걸쳐 MOT-SR은 정확도, 일반화 및 효율성 측면에서 기존의 SR 방법들을 능가합니다. 우리는 더 나아가 극단적 질량비 유입 (extreme mass-ratio inspiral, EMRI) 궤도 모델링에서 MOT-SR을 검증합니다. 이는 소규모의 국소 오차가 장기적인 진화 과정에서 상당히 누적될 수 있는 우주 기반 중력파 천문학의 중요한 문제입니다. 발견된 해석 가능한 보정치는 홀드아웃 (held-out) 구성에서 가장 낮은 궤적 수준의 적분 오차를 달성했습니다. 이러한 결과는 장기적인 과학적 역학 (scientific dynamics)의 신뢰할 수 있는 모델링을 가능하게 하는 MOT-SR의 잠재력을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기