Verb-ICL: 구조화된 예측을 위한 인컨텍스트 학습 재고찰

구조화된 예측 작업은 인컨텍스트 학습(ICL)에 독특한 어려움을 제기합니다. 그 이유는 구성적 출력물(compositional outputs)이 미세한 토큰 수준 패턴 모델링을 요구하며, 이는 문장 수준 접근 방식으로는 포착하기 어렵다는 점과, 해당 작업별 주석 규칙(task-specific annotation conventions)이 사전 학습만으로는 얻을 수 없는 인간 정의의 인공물이기 때문입니다. 본 논문에서는 이 두 가지 어려움을 모두 해결하는 ICL 기반 구조화된 예측을 위한 선택적 주석 프레임워크인 Verb-ICL을 제안합니다. Verb-ICL은 먼저 구조화된 예측에 중요한 국소적 의미 패턴을 포착하는 토큰 수준 커버리지 전략(token-level coverage strategy)을 사용하여 대표 예시를 선택하고, 다음으로 작업별 주석 가이드라인을 명문화한 실행 가능한 오류 피드백을 생성하며, 이 피드백을 ICL 데모 시연에 통합합니다. 저희는 정보 추출 및 의미론적 파싱을 포괄하는 6개의 구조화된 예측 데이터셋에서 Verb-ICL을 평가했습니다. 최신 LLM으로 수행한 실험 결과, Verb-ICL은 저자원 환경(low-resource settings)에서 강력한 선택적 주석 기준선(selective annotation baselines)보다 일관되게 우수한 성능을 보였으며, 주석 예산이 증가함에 따라 계속해서 성능 향상을 제공했습니다. 확장 분석에 따르면, 생성된 피드백은 네 가지 범주별 품질 분류(four-category quality taxonomy) 전반에서 주로 유용하며, 인스턴스별 수정 이상의 작업 수준 가이드라인으로 일반화되고, 근본적인 선택 전략과 관계없이 성능을 향상시키는 것으로 나타났습니다.