AI는 이미 아무도 전에 해결하지 못했던 수학 문제들로 테스트되고 있습니다. 만약 AI가 문제를 하나 맞힌다면, 우리는 시험 전에는 알려지지 않았던 무언가를 배우게 됩니다. 그리고 흥미롭게도, 문제는 단순히 정답 자체만이 아닙니다.

@EpochAIResearch를 비롯한 여러 주체들이 오픈 리서치 문제(open research problems)에 대한 연구 작업을 통해 이를 수행하고 있습니다. 이들은 가장 어려운 FrontierMath 테스트에서 최고 점수가 5%에서 98%로 14개월도 안 되는 기간 동안 향상되었다고 밝혔습니다. 다양한 실행을 거치면서, AI는 현재 해당 세트의 모든 문제를 해결했습니다.

일반적인 수학 시험을 생각해 보세요. 선생님은 이미 정답을 알고 계십니다. 학생이 질문에 답을 맞히면, 우리는 그 학생이 그것을 풀 수 있다는 것만 알게 됩니다. 우리는 수학에 대해 새로운 것을 배우지 못합니다.

미해결 문제(unsolved problem)는 다릅니다. 채점 가이드에 정답이 놓여있지 않습니다. 만약 AI가 올바른 해답을 찾아낸다면, 그것은 일종의 연구를 수행한 것입니다. 사람들은 이제 이전에 가지고 있지 않았던 답과 더불어, AI가 무엇을 할 수 있는지에 대한 증거까지 갖게 된 것입니다.

그 정답을 검증하는 것이 필수적입니다. 길고 설득력 있는 설명만으로는 충분하지 않습니다. Epoch는 제안된 해답이 컴퓨터에 의해 검증될 수 있도록 설계된 문제들을 연구하고 있습니다.

이것이 제가 다른 리더보드 업데이트보다 더 흥미롭다고 생각하는 이유입니다. AI를 테스트하기 위해 수행되는 일부 작업은 이제 수학자들이 어려움을 겪고 있는 문제를 해결하는 데 도움을 줄 수도 있기 때문입니다.