RAG를 활용한 근거 기반 풍자 생성

요약

본 연구는 검색 증강 생성(RAG)을 활용하여 뉴스 기사를 기반으로 핀란드 맥락의 풍자적 정의를 생성하는 새로운 파이프라인을 제시합니다. 실험 결과, 생성된 정의들은 유머러스하기보다는 정치적인 관련성을 갖는 것으로 나타났습니다. 또한, LLM-as-a-judge 평가를 통해 대규모 언어 모델(LLMs)이 정치적 맥락에 대해서는 인간의 판단과 높은 상관관계를 보이지만, 유머 감지 능력은 떨어진다는 것을 입증했습니다.

핵심 포인트

• RAG 파이프라인을 사용하여 뉴스 기사 기반의 풍자 정의를 생성하는 새로운 방법론을 제안함.
• 생성된 콘텐츠는 유머보다는 정치적 관련성을 더 강하게 띠었으며, 이는 LLM의 한계를 시사함.
• 주제 기반 단어 선택과 RAG 모두 출력물의 정치적 관련성은 높였으나, 유머 생성에는 명확한 이점을 제공하지 못했음.
• LLMs는 인간 주석가와 비교했을 때 정치적 맥락 이해도는 높지만, 순수한 유머 감지 능력은 부족함.