당신처럼 들릴 수 있나요? 개인적인 스타일을 반영한 LLM 생성 텍스트의 사후 편집

요약

본 연구는 개인의 고유한 스타일이 중요한 글쓰기 작업에서 대규모 언어 모델(LLMs) 생성 텍스트를 사후 편집하는 과정에 대한 온라인 사전 등록 연구($n=81$)를 수행했습니다. 그 결과, 사후 편집은 LLM 생성 텍스트가 참가자의 비보조 작성 텍스트와 스타일적 유사성을 높이는 데 효과적이었습니다. 하지만 동시에, 사후 편집된 텍스트는 여전히 순수 인간 텍스트에 비해 스타일적 다양성이 감소하고 LLM의 흔적을 가지고 있음에도 불구하고, 사용자들은 이를 개인적인 스타일로 인식하는 경향이 있음을 발견했습니다.

핵심 포인트

• 사후 편집(Post-editing)은 LLM 생성 초안의 스타일을 사용자의 비보조 작성 텍스트에 가깝게 조정하는 데 효과적이다.
• 사후 편집된 텍스트는 여전히 순수 인간 텍스트 대비 스타일적 다양성이 감소하고 LLM의 흔적을 포함한다.
• 사용자들은 사후 편집된 텍스트가 개인적인 스타일을 대표한다고 자주 인식하지만, 이는 모델이 측정하는 객관적 유사성과 괴리가 있다.
• LLM 생성 텍스트를 인간화하기 위해서는 단순한 수정 이상의 깊은 개입이 필요하다.