동의의 가격: 에이전트 금융 애플리케이션에서의 LLM 신학성 측정

오늘날 금융 시스템에서 LLM(대규모 언어 모델) 의 사용이 증가함에 따라, 이러한 시스템의 안전성과 견고성을 평가하는 것이 중요해졌습니다. 일반 도메인 설정에서 LLM 이 자주 나타내는 실패 모드 중 하나는 신학성(sycophancy) 입니다. 즉, 모델은 정답성보다 표현된 사용자 신념과의 일치에 우선순위를 주어 정확도와 신뢰도를 낮추는 현상입니다. 본 연구에서는 LLM 이 에이전트 금융 작업에서 보이는 신학성을 평가하는 데 초점을 맞춥니다. 우리의 발견은 세 가지 측면으로 요약됩니다: 첫째, 우리는 모델이 참고 답변에 대한 사용자의 반박이나 모순을 마주했을 때 성능 저하가 낮거나 중등도 수준임을 발견했습니다. 이는 모델이 금융 에이전트 설정에서 보이는 신학성이 이전 연구의 결과와 구별되는 특징입니다. 둘째, 우리는 참고 답변과 상충하는 사용자 선호도 정보를 통해 신학성을 테스트할 수 있는 일련의 작업을 도입하고, 이러한 입력이 존재할 때 대부분의 모델이 실패함을 발견했습니다. 마지막으로, 사전 학습된 LLM 을 이용한 입력 필터링 등 다양한 복구 모드를 벤치마크했습니다.