동일한 질의에 대해 다른 답변: 의미론적 질의 처리에서의 실행 간 분산

요약

본 논문은 의미론적 질의 처리에서 LLM 실행 간 결과가 얼마나 많이 분산되는지 측정했습니다. 온도 0에서도 모델과 작업에 따라 출력 품질이 크게 변동하며, 특히 플랜(Plans)을 사용할 경우 변화 폭이 기하급수적으로 증폭됨을 발견했습니다. 이는 동일한 요청이라도 실행마다 의견 불일치가 빈번하게 발생함을 시사합니다.

핵심 포인트

• LLM의 의미론적 질의 처리 결과는 실행 간 큰 분산(0.07%~10.2%)을 보입니다.
• 플랜 기반 답변은 행 수에 따라 변화가 기하급수적으로 증폭됩니다.
• 결정론적 엔진에서도 텍스트 결과 품질이 상당한 비율로 변동합니다.
• 벤치마크 및 엔진 설계 시 새로운 보고 규칙과 가이드라인이 필요합니다.