기울기가 충돌할 때: LLM Judge를 위한 다중 목적 프롬프트 최적화의 실패 모드

특정 작업이나 도메인에 맞춰 LLM judge를 커스터마이징하는 작업은 종종 여러 평가 기준에 걸쳐 프롬프트를 동시에 최적화하는 과정을 포함합니다. 텍스트 기울기 (Textual gradient) 방법론은 단일 judge 기준에 대해 이를 자동화하지만, 이들은 수치 벡터가 아닌 자연어 비평 (natural-language critiques)을 생성합니다. 따라서 멀티태스크 학습 (multi-task learning)의 충돌 해결 툴킷 (PCGrad, MGDA)은 다중 목적 텍스트 기울기 (multi-objective textual gradient) 설정에 적용되지 않습니다. 우리는 손실 (loss), 기울기 (gradient), 그리고 optimizer LLM이 얼마나 많은 교차 작업 정보 (cross-task information)를 공유하는지에 따라 텍스트 기울기 최적화 도구의 다섯 가지 분해 모드 (decomposition modes)를 테스트합니다. 10개의 구성 중 6개에서, 최적화가 초기 프롬프트보다 전혀 개선되지 않는 현상을 관찰했습니다. 기울기 LLM이 여러 기준을 공동으로 처리할 때 기울기 특이성 (Gradient specificity)은 59% 감소합니다 (9.0에서 3.7로). 별도로, 작업별 지침 (per-task instructions)을 단일 프롬프트로 단순하게 결합하면 Spearman's rho가 -5.3% 저하되는 것을 관찰했습니다. 이러한 결과는 두 가지 분리 가능한 실패 모드를 식별합니다: 최적화 시간의 기울기 희석 (optimization-time gradient dilution)과 추론 시간의 지침 간섭 (inference-time instruction interference)이며, 이들은 함께 텍스트 피드백을 사용한 다중 목적 judge 커스터마이징의 설계 공간을 제한합니다.