PRIME: LLM에서 호환되지 않는 지시문 하에서의 프롬프트 해결 능력 평가

요약

LLM이 상충하는 지시문을 받았을 때의 해결 능력을 평가하는 새로운 프레임워크인 PRIME을 소개합니다. 모델의 규모보다 상충 유형이 행동에 더 큰 영향을 미친다는 점을 밝혀냈습니다.

핵심 포인트

• 상충하는 메타 지시문 평가를 위한 PRIME 프레임워크 제안
• 응답 길이, 출력 형식, 추론 등 다양한 상충 관계 생성
• 모델 규모보다 상충 유형이 모델 행동에 더 중요한 요인임
• LLM의 지시 이행 능력 평가 시 고립된 제약 조건 이상의 검증 필요