본문은 LLM의 능력에 대한 비판적 분석을 담고 있으며, 특히 공간 추론과 일관성 유지 측면에서 AI가 보이는 불균일한 성능을 지적합니다. 3D 설계나 복잡한 맥락 이해 등 인간의 직관적인 능력이 필요한 영역에서 오류를 범하는 사례들을 제시하며 LLM의 한계를 논하고 있습니다.
핵심 포인트
LLM은 공간 추론에 약점을 보이며, 이는 시각적 사고가 가능한 인간과의 차이점입니다.
AI는 어떤 영역에서는 뛰어나지만 다른 영역에서는 무작위적인 부족함을 드러내는 불균일성을 가집니다.
대량의 비정형 텍스트(예: 일기장) 분석에 활용 가능성이 있으나, OCR 정확도와 맥락 이해가 주요 과제입니다.
LLM 성능 자체에 대한 의문과 함께, 모델이 학습 데이터의 지능을 불완전하게 반영할 수 있다는 관점을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
3D 프린팅용 설계처럼 덜 일반적인 용도로 LLM을 쓰는데, 사람이 하는 실수와 너무 다른 오류를 내서 예측하기 어려움. 완벽한 스냅 결합부를 만들면서도, 연결할 부품들이 원래 방향에서 90도 돌아가도록 배치하기도 함. 어처구니없는 실수지만 다른 어려운 작업은 완벽하게 해내니 모델 자체가 멍청하다고 하기도 어려움.
본문의 “seven chord groups” 같은 표현은 솔직히 Opus 5.5보다 Opus 5.0에 가까워 보임. 5.5에서는 그런 언어 표현이 많이 개선됐는데, 이전에 진행한 조사였는지 궁금함.
AI의 능력은 들쭉날쭉함. 어떤 영역에서는 멀리 나아가지만 다른 영역에서는 무작위처럼 부족함을 드러냄. 최근 뮤지컬 “thus spoke compute”가 좋은 예임. 음악도 훌륭하고 영상과 글도 인상적이지만, 일부 비유는 말이 안 되고 텍스트 강조 위치가 틀리며 2분 35초의 기차는 거꾸로 달림!
영상의 나머지를 만들 실력이 있는 사람이라면 하지 않을 실수를 AI는 함. 어쩌면 인간의 지능도 이렇게 불균일하지만, 우리가 인간에게 흔한 능력 분포와 편차에 익숙할 뿐일 수도 있음.
실제 상황과 너무 가까워 비유로 적절할지는 모르겠지만, 세상을 오직 텍스트 메시지로만 이해하는 중국어 방이 떠오름. 사람이 할 수 없는 실수라고 했지만, 그 물건을 보거나 만져본 적 없이 글로 된 설명만으로 개념 체계를 세운 사람을 상상해 보면 어떨까? 90도 틀리는 건 충분히 그럴듯한 실수로 보임.
어쩌면 모델에는 어떤 형태의 지능도 없고, 기껏해야 학습 데이터에 담긴 지능을 불완전하게 비추는 것뿐일 수도 있음.
안타깝게도 Opus 5.5의 성능을 이미 낮췄다는 얘기가 돌고 있음.
LLM은 전반적으로 공간 추론에 약하며, 아직 해결되지 않은 과제로 보임. 인간의 언어는 공간을 정밀하게 표현하지 못하는 반면, 인간은 공간 문제를 시각적으로 생각하기 때문일 수 있음. LLM이 이미지 모델로 검증할 수 있는 형식으로 3D 설계를 만들게 하면 결과가 나아질까?
조사 대상 텍스트는 몇 페이지였을까? 1615+1629가 전체 분량인지, 하위 에이전트 하나가 맡은 분량인지 잘 모르겠음. 전체라면 그 안에서 도도새 기록을 찾아낸 것보다, 저자가 조사 범위를 겨우 3천 페이지로 좁힌 일이 더 인상적이라고 할 만함.
그건 페이지 수가 아니라 연도 아닌가? 본문에는 “수백만 건의 기록”이라고 나오지만, 기록 한 건의 분량이 얼마나 되는지는 모르겠음.
돌아가신 아버지가 아주 읽기 힘든 필체로 쓴 일기장을 많이 남기셨음. 일기장을 전부 스캔해 AI에 넣고 분석할 만큼 가치가 있을까? 흩어져 있는 수많은 사소한 기록을 더 큰 맥락에서 이해할 수 있을 것 같음.
지난 30년간의 일기장 수십 권을 로컬 모델로 처리하는 OCR 작업 흐름을 구축했음. 정확도는 약 80% 인데, 핵심 단어가 꽤 빠져서 상당 부분은 이해할 수 없어 쓸모가 없어짐. 그래도 무언가를 찾을 때 grep으로 검색한 텍스트와 원본 이미지를 쉽게 비교할 수 있는 건 좋음.
Claude가 내 필체에 맞춰 재학습하는 시스템을 만들었다고는 하지만, 수백 페이지를 직접 교정해야 해서 실제로 해보지는 않을 것 같음. https://github.com/508-dev/journal-ocr
평소 Substack 하면 장황하고 질 낮은 글을 떠올리는데, 이 글은 확실히 달랐고 아주 재미있게 읽었음.