며칠 전, 저는 주로 멀티 에이전트 오케스트레이션 (multi-agent orchestration)을 사용하는 연구 보조 도구 작업을 시작했습니다. 그 주된 이유는 작은 로컬 모델들을 사용하기 위해서였습니다 (추론 속도에 영향을 미치는 지연 시간(latency)과 초당 출력 토큰 수(output token/secs)는 무시했습니다).

대부분의 작은 모델들은 제한된 추론 능력을 가지고 있으며, Mosh Levy 등이 작성한 논문 [

FLenQA 벤치마크: 현재의 LLM은 주장하는 컨텍스트 길이에서 추론을 수행하는가? | Richmond Eribo

저는 2024년 연구 논문을 라이브 플랫폼으로 이식하여 9개의 오픈 소스 (open-source) 모델을 벤치마킹했습니다. 모델들이 긴 입력값에 대해 실제로 추론을 수행할 수 있는지 테스트했을 때 발견한 결과는 다음과 같습니다.

favicon richmonderibo.dev