LLM 기반 입지 감지를 위한 프롬프팅과 다중 에이전트 방법의 체계적 비교

요약

본 논문은 입지 감지(Stance detection) 작업을 위해 제로샷 프롬프팅부터 다중 에이전트 논쟁까지 다양한 LLM 기반 전략들을 체계적으로 비교 분석했습니다. 15개의 다양한 크기의 LLM을 사용하여 총 5가지 방법을 4개 데이터셋의 14개 서태스크에 걸쳐 실험한 결과, 가장 좋은 성능은 프롬프팅 기반 방법에서 나왔으며, 에이전트 기반 방법은 높은 API 호출 비용을 요구하는 것으로 나타났습니다. 또한, 모델 스케일이 방법 선택보다 성능에 더 큰 영향을 미치며, 특정 크기(약 32B) 이후에는 성능 향상이 정체되는 경향을 발견했습니다.

핵심 포인트

• 입지 감지 작업에서 프롬프팅 기반 추론 방식이 다중 에이전트 논쟁 방식보다 전반적으로 우수한 성능을 보였다.
• 에이전트 기반 방법은 높은 계산 비용(샘플당 7~12배 많은 API 호출)을 요구한다.
• LLM의 성능 향상은 방법론적 차이보다는 모델 자체의 스케일(Scale)에 더 크게 의존하며, 약 32B 파라미터 부근에서 포화되는 경향을 보인다.
• 추론 강화 모델(DeepSeek-R1 등)이 반드시 동일 크기의 일반 모델보다 이 작업에서 우수하다고 단정하기는 어렵다.