대부분의 모델 비교는 어떤 모델이 벤치마크(benchmark)에서 승리하는지를 묻는 것부터 시작합니다. 저는 이것이 로컬 RAG(Retrieval-Augmented Generation)를 위한 잘못된 질문이라고 생각합니다. 모델이 단독으로는 1위를 차지할 수 있지만, 검색(retrieval), 양자화(quantization), 하드웨어(hardware), 개인정보 보호(privacy), 그리고 지연 시간(latency)이 고려되기 시작하면 여전히 잘못된 시스템 선택이 될 수 있습니다.

저 또한 하나의 깔끔한 순위를 원했던 적이 있습니다. 문제는 코딩(coding), 라이브 도구(live tools), 긴 문맥 회상(long-context recall), 멀티모달 입력(multimodal input), 그리고 로컬 서빙(local serving)이 '능력(capability)'이라는 하나의 개념으로 압축되어 버린다는 점입니다. 이는 제가 실제로 내려야 하는 결정, 즉 '모델이 내가 실제로 가진 제약 조건 하에서 시스템이 검색해온 증거로부터 근거 있는 답변(grounded answer)을 생성할 수 있는가'를 가려버립니다.

저의 평가 방식은 후보 모델들을 교체하는 동안 검색 도구로서 Milvus를 고정해 두는 것입니다. 코퍼스(corpus), 청킹(chunking), 인덱스(index), 메타데이터 필터(metadata filters), 그리고 레이블이 지정된 쿼리(labeled queries)를 고정시킨 다음, 검색된 증거와 이미 검증된 양질의 증거(known-good evidence)를 모두 사용하여 생성(generation)을 테스트할 것입니다. 이렇게 하면 한 구성 요소가 다른 구성 요소의 부족함을 보완하게 두는 대신, 검색 실패와 생성 실패를 분리할 수 있습니다.

또한 양자화(quantization)를 각주가 아닌 모델 설정의 일부로 취급할 것입니다. 양자화되지 않은 호스팅 모델(hosted model)과 로컬 양자화 모델을 비교하는 것은 능력, 압축, 런타임(runtime), 그리고 하드웨어를 하나의 결과로 뒤섞는 것입니다. 동일한 모델이라도 양자화 수준이 다르면 다른 배포 선택지가 될 수 있습니다.

저의 반대 의견은 여기에 '최고의 모델'은 없으며, 오직 '유용한 경계선(useful frontier)'만이 존재한다는 것입니다. 저는 모델 선택을 근거 있는 답변의 품질, 메모리, 지연 시간, 개인정보 보호, 그리고 운영 비용에 관한 트레이드오프(tradeoff) 논의로 봅니다. 일반적인 벤치마크에서는 약간 약하더라도, 예측 가능하고, 프라이빗하며, 실행 비용이 저렴하다면 그것이 더 나은 RAG 시스템이 될 수 있습니다. 여러분의 로컬 RAG 스택에서 어떤 측정 지표가 가장 예측력이 높았나요? 그리고 어떤 리더보드(leaderboard) 결과가 대부분 노이즈로 판명되었나요?