GPT‑5 가 수학자 에르네스트 류가 40 년 된 미해결 문제를 해결하는 데 어떻게 도움을 주었는가
수학자가 GPT‑5 를 사용하여 아이디어를 더 빠르게 탐색하고 오래된 최적화 문제를 해결하는 경로를 찾는 방법.
각 중요한 수학 문제는 이야기를 가지고 있습니다—문제를 제기한 사람, 그것을 시도하려 했던 사람, 그것을 할 수 없었던 사람, 그리고 마침내 아마도 누군가가 할 수 있는 사람. 하나의 좌절적으로 간단한 최적화 이론 질문을 답변하는 이야기의 배경은 다르지 않지만, 연구자가 광범위한 수학 논문에서 아이디어와 기술을 빠르게 표면화할 수 있는 도구와 함께 일한 점은 다릅니다.
응용수학과 최적화 이론 분야에서 15 년의 경력을 가진 UCLA 의 교수 에르네스트 류는 모든 사람들이谈论하는 대형 언어 모델 (LLM) 에 대해 호기심을 느꼈습니다. 2023 년, 그는 ChatGPT‑3.5 의 단순한 수학 및 논리 문제를 해결할 수 있는 능력을 테스트하기로 결정했습니다. 예를 들어, 여러 시간대를 가진 사람들과 시간을 조정하는 것을 포함합니다. 그는 그가 암시적인 제약 (예: 12 시~6 시 사이에 회의가 원하지 않는 것) 을 이해할 것이라고 관찰했지만, 정확한 결과를 생성할 능력은 광범위하게 변했습니다. 그것은 많은 강점이 있었지만, 그의 의견에 따르면 여전히 더 나아가야 할 길이가 있었습니다.
OpenAI 가 GPT‑5 를 공개한 두 년 후, Ryu 는 수학에서 빠르게 발전하는 능력을 듣기 시작했습니다. 그는 모델이 성숙했으므로 다시 시도해 볼지 여부를 확인하기 위해 더 복잡한 문제를 처리할 수 있는지 확인하기로 결정했습니다. 그가 예상하지 못했던 것은 이것이 그의 분야에서 오래된 질문에 유의미하게 기여할 수 있다는 것입니다.
Ryu 는 "개방" 된 문제를 해결하기로 결정했습니다—즉, 아직 풀리지 않았고 공동체에서 관심 있는 것으로 인정되었습니다. 그의 수학 직관은 그것이 간단한 해를 허용할 수 있다고 말했지만, 인간은 그것을 아직 찾지 못했습니다.
질문: 알고리즘이 Nesterov Accelerated Gradient (NAG) 라는 현상을 사용할 때, 그것은 훨씬 더 빠르게—but NAG 에서 추가된 모멘텀이 알고리즘의 안정성에 영향을 주지 않는가?
자동차 엔진과 달리, 너무 오래 동안 너무 강하게 밀어지면 실패할 수 있지만, NAG 는 "속도 향상" 을 제공하면서 안정성을 도입하지 않는 것처럼 보였습니다. 수십 년 동안 연구자들은 이 행동을 관찰했지만, 방법이 빠르면서도 안정적이라는 이유를 완전히 설명할 수 없었습니다.
NAG 는 수학자 Yurii Nesterov 에 의해 1983 년에 처음 소개되었으며, 알고리즘의 수렴 속도를 빠르게 하는 데 예측 (보통 "앞으로 보기" 로 기술됨) 을 사용하는 최적화 방법입니다. 전통적인 알고리즘은 점진적인 단계를 취하고 주어진 점에서 함수의 기울기—or 그 방향과 경사—를 계산하지만, NAG 는 look-ahead 점에서 기울기를 계산하여 알고리즘이 더 잘 INFORMED 최종 업데이트를 할 수 있게 합니다. 파라미터가 어디에 있을지 예상함으로써, 계산 당시의 현재 상태와 달리, NAG 는 알고리즘의 단계를 더 효과적으로 안내하고, 함수의 최소점에 도달하는 동안 고유한 진동을 관리하며, 해결책으로 더 빠르게 진행되도록 돕습니다.
더 간단히 말하면, 최적화 이론가들은 알고리즘의 모멘텀 증가가 안정성에 유의미한 영향을 주지 않는 이유를 궁금해했습니다. 머신러닝 모델을 훈련하거나 공학적 문제를 해결할 때 효율성은 계산 자원을 낭비하고 느린 결과를 생성하는 것을 피하기 위해 중요합니다.
"최적화 이론에서 사용할 수 있는 이론적 도구를 확장함으로써, 우리는 collectively 알고리즘을 효율성, 안정성 및 안전성을 위해 최적화합니다," Ryu 는 말했습니다. 그는 몇 년 전에 이 미스터리를 해결하기 위해 시도했지만 해를 발견하지 못했습니다.
Ryu 가 GPT‑5 를 계속 프롬프트하는 동안, 그의 아이들이 잠들고 밤늦은 시간까지 자주, 그는 이 근본적인 문제를 해결하기 위해 시도할 때 창의성과 비전통적 접근법을 인상 깊게 느꼈습니다. 그러나 그는 모델의 작업을 다시 확인했을 때 실수를 발견했습니다.
