AI 모델은 수학을 할 수 없다는 사실이 드러났습니다.. 심지어 10살 아이가 푸는 수준의 초등학교 수학조차 말이죠.

Apple은 인공지능 (AI)의 핵심에 있는 거대한 환상을 폭로하는 파괴적인 연구를 발표했습니다.

그들은 모든 AI 기업들이 자사 모델이 얼마나 똑똑한지 자랑하기 위해 사용하는 표준 수학 벤치마크 (GSM8K)를 가져왔습니다.

먼저, 그들은 문장제 문제 (word problems)의 이름들을 단순히 바꾸어 보았습니다.. 모델의 성능이 이유 없이 요동쳤습니다.

그 다음, 그들은 숫자들을 바꾸었습니다. 성능이 즉시 하락했습니다.

하지만 그 후, 모든 것을 무너뜨린 테스트를 실행했습니다.

그들은 문장제 문제에 단 하나의, 완전히 무관한 문장을 추가했습니다. 예를 들면 다음과 같습니다: "참고로, 사과 5개는 초록색이었습니다."

인간 10살 아이는 초록색 사과를 무시하고 근본적인 수학 문제를 풉니다.

하지만 AI는 그러지 못했습니다.

모든 최첨단 (state-of-the-art) 모델에 걸쳐, 성능이 최대 65%까지 붕괴되었습니다.

AI는 무지성으로 무관한 숫자를 집어 들고 그것을 방정식에 억지로 밀어 넣으려 했습니다. AI는 왜 그 수학을 하고 있는지 알지 못했습니다. 그저 숫자를 보고 그것을 사용해야 한다고 가정했을 뿐입니다.

내부적으로 진정한 논리적 추론 (logical reasoning)이 일어나고 있지 않습니다.

우리는 이러한 시스템을 우리의 재무를 관리하고, 법률 문서를 분석하며, 복잡한 전략적 결정을 내리는 데 배치하고 있습니다.

하지만 모델들은 실제로 자신들이 내뱉고 있는 논리를 이해하지 못합니다.

그들은 단지 똑똑한 답변이 어떻게 보여야 하는지만을 알고 있을 뿐입니다.
[IMG:1]