MIT, 인공지능 산업이 수년간 저질러온 1,000억 달러 규모의 실수를 밝혀내다

🤯 MIT, 인공지능 (AI) 산업이 수년간 저질러온 1,000억 달러 규모의 실수를 밝혀냈습니다.

OpenAI, Anthropic, Google 및 다른 모든 이들이 더 큰 컨텍스트 윈도우 (Context Window)를 만들기 위해 고군분투하는 동안...

MIT는 다른 질문을 던졌습니다:

"만약 인공지능이 모든 것을 기억할 필요가 없다면 어떨까?"

그리고 이 질문은 인공지능을 영원히 바꿔 놓았을지도 모릅니다.

수년 동안 모든 모델은 동일한 문제로 고통받아 왔습니다:

컨텍스트 윈도우 (Context Window)에 더 많은 정보를 채울수록 성능은 더 악화됩니다.

연구자들은 이를 컨텍스트 부패 (Context Decay)라고 부릅니다.

인공지능에게 거대한 코드베이스를 주면, 이전에 읽었던 파일들을 잊어버립니다.

500페이지 분량의 계약서를 주면, 중요한 세부 사항이 끝부분에 도달했을 때 사라져 버립니다.

산업계의 해답은 무엇이었을까요?

더 큰 컨텍스트 윈도우 (Context Window)였습니다.

4K → 32K → 200K → 1M → 2M 토큰 (Token).

단 하나의 가정에 수십억 달러가 소비되었습니다:

더 많은 메모리 = 더 나은 지능.

MIT는 이 가정이 틀렸을 수도 있음을 보여주었습니다.

완전히 틀렸습니다.

MIT의 새로운 접근 방식은 인공지능에게 거대한 문서를 암기하도록 강요하는 대신, 문서를 컨텍스트 윈도우 (Context Window) 완전히 외부의 곳에 저장합니다.

인공지능은 기억하려고 노력하지 않습니다.

탐색합니다.

마치 도서관을 이용하는 인간 전문가처럼 말입니다.

검색을 수행합니다.

구조를 스캔합니다.

필요한 정확한 정보만을 추출합니다.

그다음 훨씬 더 놀라운 일이 일어납니다:

인공지능은 관련 섹션을 병렬로 분석하기 위해 더 작은 하위 에이전트 (Sub-agents)들을 실행하고, 발견한 내용들을 결합하여 최종 답변을 생성합니다.

분할이 없습니다.

요약이 없습니다.

정보 손실이 없습니다.

컨텍스트 붕괴가 없습니다.

문서 전체가 손상되지 않은 채 검색 가능한 상태로 유지됩니다.

결과는 놀랍습니다:

• 최대 1,000만 토큰 (Token)까지 문서를 처리할 수 있음
• 로컬 컨텍스트 (Local Context) 한계보다 최대 100배 더 나은 성능을 보임
• 전통적인 긴 컨텍스트 접근 방식을 능가함
• 대규모 컨텍스트 호출과 유사한 비용을 가짐
• 오픈 소스 (Open Source)임

5년간의 컨텍스트 윈도우 (Context Window) 경쟁 끝에, MIT는 불편한 진실을 밝혀냈을지도 모릅니다:

인공지능 메모리의 미래는 더 큰 뇌가 아닙니다.

인공지능에게 어디를 바라봐야 할지 가르치는 것.

마치 인간처럼.

문맥 창 (Context Window) 전쟁은 가장 큰 모델에 의해 승리되지 않았을지도 모릅니다.

모든 것을 기억하려고 노력하는 것을 그만둔 팀에 의해 승리했을지도 모릅니다.

출처:
MIT CSAIL — Zhang, Kraska, Khattab
논문: https://t.co/IS2Z0TurzH
GitHub: https://t.co/vUeEHBxouN