MoPrO-SD: 스탠스 탐지를 위한 모듈형 프롬프트 최적화

스탠스(stance) 탐지는 암묵적인 의견, 비꼬는 표현(sarcasm), 그리고 맥락 의존적인 스탠스 표현 때문에 대규모 언어 모델(LLMs)에게 여전히 어려운 과제입니다. 자동 프롬프트 최적화는 모델 매개변수를 업데이트하지 않고도 파인튜닝의 대안을 제공하지만, 기존의 구조화된 접근 방식들은 스탠스 레이블 의미론과 클래스별 모호성을 염두에 두고 특별히 설계되지 않았습니다. 우리는 프롬프트를 기능적 의미론 모듈로 분해하고 LLM 기반 피드백을 사용하여 순차적으로 정제하는, 스탠스 특이적 프롬프트 최적화 프레임워크인 MoPrO-SD를 소개합니다. 우리는 세 가지 정제 전략, 즉 명령어 전용 최적화(I), 추론을 포함한 명령어(I+R), 그리고 예시별 추론을 포함한 명령어(I+R+E)를 연구하며, 스탠스 레이블 정제를 위해 클래스 조건부 오류를 사용합니다. 또한 우리는 백신 스탠스 탐지를 위한 새로운 인간 주석 기반 벤치마크인 VaccineStance를 소개합니다. 네 가지 데이터셋과 다섯 개의 오픈 웨이트 LLM에 걸친 실험 결과, MoPrO-SD가 많은 환경에서 사람이 작성한 Base 프롬프트보다 성능이 향상됨을 보여줍니다. SemEval-2016에서는 클래스 조건부 피드백이 다섯 개 백본 중 네 개에서 풀링된 피드백보다 더 높은 평균 Macro-F1을 달성했습니다. 두 추론 기반 전략인 I+R과 I+R+E는 강력한 성능을 달성하며, 그 상대적 효과성은 모델과 데이터셋에 따라 달라지지만, 최근의 프롬프트 최적화 방법들과 경쟁할 수 있는 수준을 유지합니다. MoPrO-SD 코드와 VaccineStance 데이터셋은 GitHub에서 이용 가능합니다.