Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 모델의 성과에 대한 과도한 기대와 그 한계점을 지적하는 글입니다. AI는 기존 학습 데이터를 조합하여 뛰어난 성능을 보일 수 있지만, 완전히 새로운 독창적인 혁신이나 미개척 분야의 해법을 창출하는 데는 근본적인 어려움이 있다는 점을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이 밈과 다른 점은 AI의 연구 돌파구 창출 능력에 회의적인 이들이 해당 분야 전문가인 경우가 많고, 동시에 학계에서의 진로를 걱정한다는 것임. 학계에서 정년이 보장되는 자리를 얻기는 어렵고, 누가 그 자리를 차지하는지는 매우 정치적임.
이들은 AI 자체가 두려운 것이 아님. 분야를 발전시킬 혁신을 고안하는 일이 본업이기 때문임. 두려운 것은 AI 열풍 때문에 수년에서 수십 년을 투자한 연구가 하찮게 취급되고, 무능한 의사결정권자가 연구자를 AI로 대체할 수 있다고 여기는 것임.
나도 처음에는 이 과제가 얼마나 전문적이고, 연구팀이 다루는 작업의 복잡성이 어느 수준인지 궁금했음.
AI는 많은 연구 논문을 학습했고, 이를 조합해 미해결 수학 문제 같은 과제의 해법을 만들 수 있다는 의미에서 수년간의 연구를 재현할 수 있음. 그래서 기본 성능만으로도 상당히 뛰어나 보일 수 있음.
이 글은 아무도 해본 적 없는 일을 할 때는 혁신성이 덜 인상적이라는 점을 재확인함. AI의 놀라운 성과에 익숙한 이들에게는 자명한 사실이 아님.
수학에서는 대체로 그런 일이 일어났으니, 특히 AI가 더 발전한다면 무리한 기대라고 보지는 않음.
이런 소규모 연구는 본질적으로 별 의미가 없으며, 역량의 선행 지표가 아니라 확산의 후행 지표가 될 것 같음. Navier–Stokes 관련 성과에는 수백만 달러어치의 토큰과 수천 개의 병렬 에이전트가 투입됐음. AI가 이 과제를 수행할 수 있다면 이런 평가보다는 수백만 달러를 쓸 경제적 유인이 있는 곳에서 먼저 나타날 것임.
GPU 접근 권한만 주고 해결하라는 평가 방식은 소규모로 가능한 성과에도 뒤처질 것임. AlphaEvolve나 ArchPilot처럼 모델의 약점을 보완하는 지원 체계가 없기 때문임. 실행 환경을 제공하는 것은 진전이지만, 계산기나 Python 환경을 주는 대신 LLM 자체에 산술을 시키려던 실험처럼 느껴짐.
거기에 인간이 한 세기 동안 쌓아 올리고 인간이 이해하도록 기록한 이론적 토대와 혁신도 빠뜨릴 수 없음.
수백만 달러의 토큰과 수천 개의 병렬 에이전트를 썼다면 중복 작업에 들어간 비용도 상당하지 않았을까? 모든 에이전트가 새로운 일을 했다고는 믿기 어려움. 비용 낭비 외에 어떤 의미가 있는지는 모르겠지만, 큰 숫자 자체를 인상적인 성과나 결과를 얻기 위한 필수 조건으로 여겨서는 안 됨.
Navier–Stokes 정리와 다른 OpenAI 수학 증명에 관해 최근 읽은 글 중에서는 Nestor Guillen의 아이디어의 볼록 껍질(convex hull) 이 특히 좋았음. LLM의 한계에 대해 막연하게 품었던 생각을 훌륭한 비유로 명료하게 정리해 줌. https://terrytao.wordpress.com/2026/09/13/happy-those-able-t...
요지는 LLM이 기존 문헌, 즉 학습 데이터의 볼록 껍질 안에서 결과를 찾는 데 뛰어나다는 것임. 인간 한 명이 모두 전문성을 갖추기 어려운 여러 분야의 문헌을 연결할 수 있지만, 진정으로 새로운 독창적 아이디어까지 도달할 수 있다는 증거는 아직 없음. 솔직히 이 한계가 남기를 바람. 그렇지 않으면 인류의 미래가 전반적으로 암울할 것 같음.
gpt-4o처럼 터무니없이 낡고 성능이 떨어지는 모델로 LLM 전반의 무능력을 단정하는 이른바 연구가 넘쳐남.
이런 학문적 부정행위에는 두려움 때문에 기술 전체를 깎아내리고, 정년 보장 교수에게 유리한 학계의 합의를 유지하려는 목적이 있는 것은 아닌지 의심하게 됨. 그런데도 쓰라린 교훈은 계속 더 쓰라려짐.
내 경험상 연구개발에는 혁신성과 결과를 얼마나 잘 측정할 수 있는가라는 두 축이 있음. 혁신적이지 않고 성능 측정법도 확립된 과제는 Claude가 처리할 수 있음. 모호함이 거의 없고, 주어진 제약 아래 지표를 극대화하면 되기 때문임.
하지만 많은 업무 절차는 그렇지 않음. 개념적으로 단순해도 시스템이 일을 잘했는지 판정하기는 어려움. LLM이 상당히 도와줄 수는 있지만, 사람들과 대화해야 하는 판단에서는 취약함.
더 드문 유형으로는 데이터가 있어도 충분한 품질이나 속도로 모델링하기 어려운 과제가 있음.
여기서 따라오는 결론은 코딩은 해결됐지만 버그는 해결되지 않았다는 것임.
글을 짧게 요약하면 아직 한참 멀었다는 것임. 에이전트가 작업에 관해 오해를 유발하는 주장을 했고, Fable의 개선은 거의 전적으로 편법 시도에서 비롯됐으며, Sol의 진전도 점진적이고 코딩 과제에 적용할 범위가 제한적이었다고 함. GPU 예산을 더 투입하는 데도 비관적이어야 한다는 내용으로, 현재 LLM은 이 일을 수행할 능력이 없다는 결론을 뒷받침함.
내 생각에는 이 기법으로는 앞으로도 좋은 결과를 내지 못할 것임. 결국 LLM이 자신의 출력으로 학습하면서 현실과 환각을 구분하지 못하게 될 것이기 때문임. 틀렸다고 생각한다면 그 이유를 듣고 싶음.
우리가 틀렸음을 입증해야 하는 것이 아니라, 주장한 쪽이 근거를 제시해야 함. 지금 주장은 모호하고 구체성이 없어, “LLM이 환각을 더 잘 감지하는 기능을 추가할 것”이라는 똑같이 모호한 말로도 반박할 수 있음.
너무 비관적인 것 같음. AI가 처음부터 끝까지 자동화할 수 없다는 데는 동의하지만, 연구개발의 상당 부분은 학습을 시작하고 지켜보는 작업임.
새벽 1시에 학습이 중단되면 다음 날까지 모를 수 있고, 시점에 따라 최대 18시간을 날릴 수 있음. 오류에 따라서는 하이퍼파라미터 하나만 조정하고 재시작하면 되는데, LLM은 보통 이런 일을 할 수 있음. 학습 실행 감시와 복구만 맡겨도 주말에 여러 학습을 걸어두고 끝날 것이라 믿을 수 있으니, 내게는 획기적인 변화임.
무엇이 영원히 불가능하다는 것인가? 신경망 자체인가, 아니면 학습 과정에 다음 토큰 예측을 사용하는 신경망인가?
최근 더 단순한 과제로 “Python으로 비동기 분할 정복 방식의 S3 목록 조회기를 작성하라”고 해봤는데, 결과가 그다지 좋지 않았음. Opus 5.5와 GLM 5.3 Flash는 꽤 빠르고 합리적인 코드를 만들었지만, 모든 모델이 aioboto의 연결 풀 크기 기본값 10을 그대로 뒀음. 더 높은 한도의 세마포어를 추가하고도 실제 성능은 이 설정에 막혔음.
내가 AI의 도움을 받아 몇 시간 작업한 구현은 더 빠르고 CPU 사용 시간도 적었으며, 코드 길이도 대략 절반이었음.
검증 반복 과정과 충분한 연산 자원만 주면 AI는 수학을 정복했듯 알고리즘 연구개발도 곧 정복할 것임. 이것은 의심의 여지 없이 확실함.
수학 같은 이론 분야는 본질적으로 일종의 굿하트의 법칙을 겪음. 널리 알려지는 수학의 진전은 비수학자가 관심을 가질 만한 진전과는 거의 항상 다름.
분야 내부의 지표로 성과를 측정하는 것이 주제에 대한 더 넓은 이해에 기여했는지 평가하는 것보다 쉬움. 내가 가장 익숙한 이론 컴퓨터과학에서는 실제 알고리즘 성능을 악화시키면서 복잡도 상한의 로그보다 작은 인자를 줄이거나, 증명의 기술적 난도로 심사자를 감탄시키는 경향을 오래전부터 비판해 왔음. 하지만 새로운 알고리즘 아이디어나 개념적 이해보다 그런 진전이 측정하기 쉬움.
그렇다고 나쁘기만 한 것은 아님. 지표를 좇는 연구자도 거의 항상 연구 주제에 진심으로 관심이 있고, 실질적 기여는 측정 가능한 성과를 추구하다 탐색한 아이디어에서 나오는 경우가 많음. 직접적인 가치를 만들어야 한다는 요구가 없기에 더 폭넓은 아이디어를 탐색할 수 있음.
나도 이론 컴퓨터과학에서 알고리즘 생물정보학으로 옮기며 이를 체감함. 새 프로젝트를 시작하면 5년 뒤 유전체학 연구자가 새 알고리즘이 들어간 소프트웨어를 사용해야 한다는 기대가 따름. 유용한 기대이지만, 시도할 수 있는 것의 범위를 엄격히 제한하기도 함.
탐색 공간을 무차별 탐색하는 비용이 저렴하고 경제성이 유지되는 동안에만 가능할 것임.
수학은 아직 정복되지 않았음.
후속 학습으로 귀추 추론을 훨씬 잘하는 모델이 나온다면, 이 결과는 얼마나 달라질 수 있을까?
내가 예상하는 결말은 AI가 너무 복잡해져 결과를 측정하고 입증할 수 없게 되고, 결국 연구개발에서 신뢰할 수 없게 되는 것임. 일부 AI 간 협업과 작업 속도는 인간이 재현할 수 없을 것이며, 좋거나 나쁘다기보다 인간의 능력 밖에 있는 무언가가 될 것임.
기업들이 이 분야에서 모델의 성능을 의도적으로 낮췄을 가능성은 없을까? 관련 분야의 성능까지 해칠 수 있어 매우 어려운 일이지만, Dario의 이념과 동떨어진 일은 아님. 공개적으로 시도한 적도 있음.
공개된 최첨단 모델은 AI 개발 관련 능력이 제거되도록 조정된 것이라고 늘 생각했는데, 아닌가?