Claude와 GPT 세 모델에 동일한 12문제를 각각 5회씩 던져본 결과

요약

개발자가 API를 통해 여러 LLM의 성능을 비교 검증하는 방법을 제시합니다. 동일한 문제 12개를 각 모델에 5회씩 총 180회 호출하여, 단순 성능뿐 아니라 일관성과 고질적인 특성을 분석했습니다. 이 결과를 바탕으로 실무에서 모델별 사용처를 판단할 수 있는 기준과 설계 방식을 제공합니다.

핵심 포인트

• 단순 테스트보다 반복 검증이 중요하며, 이를 통해 모델의 고질적 특성(癖)을 파악할 수 있다.
• 모델은 '설명 완성'을 우선시하여 글자 수 제한 같은 제약 조건을 무시하는 경향이 발견되었다.
• 확률/조합 문제 등에서 5회 반복 테스트는 모델의 미묘한 오류를 효과적으로 찾아낸다.
• 개발자는 API 사용 시 답변의 질보다 일관성(Consistency)을 주요 판단 기준으로 삼아야 한다.