더 많은 문맥, 더 큰 모델, 아니면 도덕적 지식인가? 정치적 텍스트 내 Schwartz 가치 탐지에 관한 체계적 연구

정치적 텍스트에서 Schwartz 가치 (Schwartz values)를 탐지하는 것은 어렵습니다. 왜냐하면 암시적인 단서들이 종종 주변의 논거(arguments)나 인접한 가치들 사이의 미세한 차이에 의존하기 때문입니다. 본 연구에서는 문맥 (context)과 명시적인 도덕적 지식 (moral knowledge)이 문장 수준의 가치 탐지에 언제 도움이 되는지 연구합니다. ValuesML/Touch{é} ValueEval 형식을 사용하여, 문장 (sentence), 윈도우 (window), 그리고 문서 전체 (full-document) 입력을 비교하였습니다. 또한, 선별된 도덕적 지식 베이스를 활용한 RAG 미사용 (no-RAG) 및 검색 증강 (retrieval-augmented) 설정을 비교하였으며, 지도 학습된 (supervised) DeBERTa-v3-base/large 인코더와 12B에서 123B 파라미터 규모의 제로샷 (zero-shot) LLM들을 사용하였습니다. 연구 결과, 더 많은 문맥이 일관되게 더 나은 것은 아님을 보여줍니다. 문서 전체 문맥은 지도 학습된 DeBERTa 인코더의 성능을 문장 전용 입력 대비 macro-F1 점수 기준 3.8~4.8 포인트 향상시켰으나, 제로샷 LLM들에게는 일관된 도움을 주지 못했습니다. 검색된 도덕적 지식은 매칭된 비교에서 더 일관되게 유용했으며, 초기 융합 (early fusion) 방식 하에서 테스트된 모든 모델 제품군과 문맥 조건의 성능을 향상시켰습니다. 그러나 DeBERTa-v3-base에서 large로, 그리고 12B에서 더 큰 LLM으로 규모를 확장하는 것이 반드시 성능 향상을 보장하지는 않으며, 인코더의 경우 단순한 초기 융합이 테스트된 후기 융합 (late-fusion) 및 교차 주의 (cross-attention) RAG 변형 모델들보다 우수한 성능을 보였습니다. 가치별 분석 결과, 문맥과 검색은 사회적으로 위치한 (socially situated) 가치나 개념적으로 혼동하기 쉬운 가치들에 가장 큰 도움이 되는 것으로 나타났습니다. 이러한 발견은 가치 민감형 NLP (value-sensitive NLP)가 긴 입력이나 더 큰 모델을 보편적인 개선책으로 취급하기보다, 문맥, 지식, 그리고 모델 제품군을 공동으로 평가해야 함을 시사합니다.