오픈 웨이트 (Open weights) LLM과 폐쇄형 소스 (Closed source) LLM 사이의 격차

저는 Twitter에서 돌아다니는 위 그래프의 버전을 보았고, 이에 대해 조금 더 깊이 파헤쳐 보고 싶었습니다. 위 그래프가 보여주는 것은 오픈 웨이트 (open weights) LLM과 폐쇄형 소스 (closed source) LLM 사이의 격차입니다. 우리는 벤치마크에서 오픈 웨이트 (open weights) LLM의 성능 최전선(frontier)을 살펴보고, 과거로 거슬러 올라가 폐쇄형 소스 (closed source)의 최전선이 해당 수준에 도달했던 것이 얼마나 오래전이었는지를 확인함으로써 이 격차를 측정합니다. 이는 오픈 소스 모델이 폐쇄형 소스 모델의 최전선이 도달한 새로운 능력에 따라잡는 데 얼마나 오래 걸렸는지를 나타내는 척도입니다. 이 벤치마크는 Artificial Analysis Intelligence Index로, 모델의 전반적인 능력을 평가하려고 시도하는 그들의 핵심 지수입니다. 일반적으로 이는 사람들이 모델로부터 느끼는 '느낌 (vibe)'과 상당히 잘 일치합니다.

2024년 여름 무렵 이 벤치마크의 격차가 줄어들기 시작하며, 그 이후로 꾸준히 줄어들고 있음을 볼 수 있습니다.
최적합 선 (line of best fit)을 그리고 이를 미래로 확장해 보면, 격차가 2026년 12월 3일경에 0개월로 줄어든다는 것을 알 수 있습니다. 이는 글을 쓰는 시점으로부터 약 6개월 정도 남은 시점입니다.

지금이 아마도 연금을 현금화하고, 어딘가 외딴 섬으로 날아가 문명의 남은 6개월 정도를 평화롭게 보낼 좋은 시기일지도 모릅니다.

…

하지만.

이것이 전체 그림이 아닐 수도 있습니다. 이것은 단 하나의 벤치마크일 뿐이며, LLM의 능력을 완전하게 보여주지는 않습니다. 다행히도, Artificial Analysis는 이 모델들에 대해 측정한 18개의 서로 다른 벤치마크에 대한 접근 권한을 제공합니다. 저는 18개의 서로 다른 벤치마크 모두에 대해 분석을 반복하였으며, 그 결과를 아래 그래프에 요약하였습니다.

우리가 생성한 18개의 데이터셋 각각에 대해 유사한 차트를 만들었습니다. 페이지 하단에서 18개 전체를 확인할 수 있습니다. 매달 각 데이터셋에 대한 격차(gap)를 박스 플롯 (box plot)으로 생성하였으며, 이후 모든 박스 플롯을 시간에 따라 배치하였습니다. 또한 데이터셋 전반에 걸친 격차의 평균을 계산하고, 이에 대한 최적합선 (line of best fit)을 계산하였습니다. 그 선은 전체 기간 동안 5개월을 약간 밑도는 수준으로, 거의 완전히 평탄합니다.

주목할 점은 모델의 전체적인 성능 향상 중 상당 부분이 코딩 벤치마크 (coding benchmark)에서 이루어졌다는 것입니다. 코딩 인덱스 (coding index)는 15개월 뒤처진 상태에서 이제는 단 1~2개월 뒤처지는 수준으로 단축되었습니다. 다른 대부분의 데이터셋은 시간이 지남에 따라 격차가 완만하게 증가했습니다.

따라서 어쩌면 오픈 소스 아포칼립스 (open source apocalypse)는 아직 일어나지 않을지도 모릅니다.

이 실험이 시사하는 바는 LLM 품질을 측정하는 것의 어려움입니다. 측정 방식에 따라, 당신은 오픈 소스 특이점 (open source singularity)이 크리스마스 전에는 올 것이라고 예측할 수도 있고, 혹은 오픈 소스 LLM이 폐쇄형 소스 (closed source)보다 지속적으로 5개월 뒤처져 있으며 그 격차가 커지고 있을 수도 있다고 말할 것입니다.