RAG를 활용한 근거 기반 풍자 생성

유머 생성은 그 주관적인 특성 때문에 대규모 언어 모델(LLMs)에게 여전히 어려운 과제입니다. 우리는 맥락에 의해 강하게 형성되는 유머의 한 형태인 풍자에 초점을 맞춥니다. 본 연구에서는 현재 뉴스 기사를 대상으로 검색 증강 생성(RAG)을 사용하여 핀란드 맥락에서 풍자적인 사전 정의를 생성하는 새로운 파이프라인을 제시합니다. 또한, 새로운 태스크별 평가 프레임워크를 도입하고 6명의 인간 주석가들이 100개의 생성된 정의에 주석을 달아 문화적 배경, 출처 단어 유형, RAG의 유무 등 여러 실험 조건 전반에 걸쳐 분석할 수 있도록 했습니다. 우리의 결과는 생성된 정의가 유머러스하기보다는 정치적으로 인식된다는 것을 보여줍니다. 주제 기반 단어 선택과 RAG 모두 출력물의 정치적 관련성을 향상시키지만, 어느 쪽도 유머 생성에서 명확한 이득을 가져오지는 못했습니다. 게다가, 5가지 최첨단 모델에 대한 LLM-as-a-judge 평가를 통해 LLMs가 정치적 관련성에 대해서는 인간의 판단과 잘 상관관계를 보이지만, 유머에 대해서는 성능이 떨어진다는 것을 알 수 있습니다. 우리는 근거 기반 풍자 생성 및 평가에 대한 추가 연구를 지원하기 위해 코드를 공개하고 주석이 달린 데이터셋을 배포합니다.