LLM에서 다원성을 평가하는 잠재적 관점 분석

다양한 관점을 표현해야 할 필요성이 커지면서, 다원적인 LLM 생성에 대한 관심이 증가하고 있습니다. 비록 운영화하기는 어렵지만, 텍스트에 표현된 관점을 식별하는 것은 다원성 정렬(pluralistic alignment)에 명확한 지침을 제공하고 LLM 생성의 다원적 격차(pluralistic gap)를 더 명확하게 설명할 수 있게 해줄 것입니다. 모델들이 훈련 데이터의 다양성을 줄이고 균질하게 생성하는 것으로 나타났지만, 이는 주로 객관식 설문지나 자유 형식 텍스트의 높은 수준의 특성을 사용하여 입증되었습니다. 본 논문에서는 LLM이 생성한 텍스트에서 다원적 격차를 식별하는 데 적합한 관점을 비지도 방식으로 추출하기 위한 도메인에 구애받지 않는(domain-agnostic) 다층 프레임워크를 소개하고 구현합니다. 우리는 매우 의견이 강하며 다양한 관점을 나타내는 데이터셋인 책 리뷰로 이 프레임워크를 평가하고, 다양한 프롬프트와 모델들을 비교했습니다. 우리의 결과는 일부 모델과 프롬프팅 기법들이 광범위한 스펙트럼의 관점을 포괄하는 데 근접하지만, 희귀한 관점들은 여전히 불균형하게 과소 대표되어 인간 텍스트와는 다른 분포를 초래한다는 것을 보여줍니다.