프롬프트 최적화로 법률 QA 평가 성능 극대화 방안

요약

본 연구는 자유 형식의 법률 질의응답(Legal QA) 평가에서 'LLM을 심판으로 활용하는 방식 (LLM-as-a-judge)'의 효과를 탐구합니다. 특히, 프롬프트 설계와 심판 선택이 평가 결과에 미치는 영향을 분석했습니다. 저자들은 ProTeGi라는 방법을 사용하여 태스크 프롬프트를 자동으로 최적화하고, 이 과정에서 두 명의 가상 심판(Qwen3-32B, DeepSeek-V3)의 피드백을 활용했습니다. 주요 발견으로는, 자동 최적화가 수동 설계보다 일관되게 우수하며, 특히 관대한(lenient) 심판의 피드백이 높은 성능 향상

핵심 포인트

• 자동 프롬프트 최적화 기법이 인간 중심의 프롬프트 설계보다 법률 QA 평가에서 더 나은 성능을 보입니다.
• 심판의 피드백 스타일 중 관대한(lenient) 피드백이 가장 크고 일관된 성능 향상을 가져옵니다.
• 최적화된 프롬프트를 다른 심판에게 적용할 때, 관대한 피드백으로 최적화한 것이 엄격한 심판보다 더 높은 일반화 능력을 보여줍니다.