Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
입장 탐지(Stance Detection) 성능을 높이기 위해 추론 수준의 합성을 활용하는 멀티 에이전트 프레임워크를 제안합니다. 매니저가 입력 복잡도에 따라 워커 에이전트를 적응적으로 할당하여, 단순 투표 대신 추론 과정을 합성함으로써 복잡한 문맥을 더 정확히 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기입장 탐지(Stance detection)는 대상에 대한 저자의 입장을 식별하는 작업으로, 입장이 암시적(implicit), 간접적(indirect)이거나 수사적으로 구성된 짧은 형식의 텍스트에서 수행되는 경우가 많습니다. 대규모 언어 모델(LLMs)이 이 작업에서 강력한 성능을 달성하고 있지만, 여러 해석이 가능할 때 단일 패스 프롬프팅(single-pass prompting)은 취약할 수 있습니다. 다수결 투표(majority voting)나 자기 일관성(self-consistency)과 같은 기존의 집계 전략은 레이블을 결합하여 견고성을 향상시키지만, 상충하는 해석을 해결하는 데 필요한 중간 추론 과정을 버리게 됩니다. 우리는 집계 방식을 레이블 수준의 투표에서 추론 수준의 합성(reasoning-level synthesis)으로 전환하는, 입장 탐지를 위한 적응형 작업자 할당(adaptive worker allocation) 기반의 멀티 에이전트 추론 프레임워크를 소개합니다. 이 프레임워크는 매니저(Manager)가 입력 복잡성에 따라 가변적인 수의 워커(Worker) 에이전트를 적응적으로 할당하는 매니저-워커(Manager-Worker) 아키텍처를 채택합니다. 각 워커는 고유한 관점에서 입력을 분석하고 입장 레이블을 내뱉지 않고 추론 전용 설명만을 생성하며, 이후 매니저는 이러한 설명들을 합성하여 최종 예측을 생성합니다. 우리는 Llama, Mistral, Gemini를 사용하여 SemEval-2016, P-Stance, COVID-19 Stance 데이터셋에서 제안된 프레임워크를 평가했습니다. 결과에 따르면, 이 프레임워크는 암시적이고 문맥 의존적인 입장 사례에서 가장 큰 이득을 얻었으며, COVID-19에서 86.07 Macro-F1을, SemEval-2016에서 82.90을 달성하는 동시에 P-Stance와 같이 더 명시적인 입장 데이터셋에서도 경쟁력 있는 성능을 유지했습니다. 이러한 결과는 표면적인 단서만으로는 입장을 안정적으로 추론할 수 없을 때 적응형 추론 수준 집계가 가장 유익하다는 것을 시사합니다.