한국어 RAG 벤치마크에서 내 3090의 Qwen3.8 27B가 예상외로 Opus 5.5와 비슷한 성능을 보였다

요약

본 기사는 한국어 RAG 벤치마크를 통해 Qwen3.8 27B가 Opus 5.5와 유사한 높은 성능을 보였음을 분석합니다. 저자는 모델 자체보다 PDF 파싱 과정이나 검색기(retriever)의 오류가 시스템 병목 지점임을 밝혀냈습니다. 또한, 한국어 형태소 토크나이저 사용과 충분한 컨텍스트 길이 확보의 중요성을 강조했습니다.

핵심 포인트

• Qwen3.8 27B는 Opus 5.5와 동률 수준의 높은 RAG 성능을 보임.
• 모델 자체보다 PDF 파싱 및 검색기(retriever)가 시스템 병목 지점임.
• 한국어 형태소 토크나이저 사용 시 검색 정확도가 크게 향상됨.
• LLM 추론 과정(thinking) 활용과 충분한 컨텍스트 길이 확보가 중요함.