SciCustom: 대규모 언어 모델(LLM)의 과학적 역량 맞춤형 평가를 위한 프레임워크

요약

SciCustom은 기존 벤치마크가 LLM의 세밀한 과학적 역량을 반영하지 못하는 한계를 극복하기 위해 제안된 맞춤형 평가 프레임워크입니다. 온톨로지 기반의 지식 단위와 다중 모델 합의 방식을 활용하여, 대규모 과학 데이터로부터 특정 애플리케이션에 특화된 벤치마크를 자동으로 구축합니다. 화학 및 의료 분야 실험을 통해 전문가의 주석 없이도 LLM의 과학적 역량 차이를 효과적으로 식별할 수 있음을 입증했습니다.

핵심 포인트

• 온톨로지 기반의 제어된 지식 단위를 사용하여 과학적 지식을 구조화함
• 투표 기반의 다중 모델 합의 및 이진 탐색을 통해 관련성 높은 벤치마크 검색 가능
• 전문가의 수동 주석이나 합성 질문 생성 없이도 효율적인 벤치마크 생성 가능
• 화학 및 의료 분야에서 기존 벤치마크가 놓치는 LLM의 세밀한 역량 차이를 포착