당신처럼 들릴 수 있나요? 개인적인 스타일을 반영한 LLM 생성 텍스트의 사후 편집
요약
본 연구는 개인의 고유한 스타일이 중요한 글쓰기 작업에서 대규모 언어 모델(LLMs) 생성 텍스트를 사후 편집하는 과정에 대한 온라인 사전 등록 연구($n=81$)를 수행했습니다. 그 결과, 사후 편집은 LLM 생성 텍스트가 참가자의 비보조 작성 텍스트와 스타일적 유사성을 높이는 데 효과적이었습니다. 하지만 동시에, 사후 편집된 텍스트는 여전히 순수 인간 텍스트에 비해 스타일적 다양성이 감소하고 LLM의 흔적을 가지고 있음에도 불구하고, 사용자들은 이를 개인적인 스타일로 인식하는 경향이 있음을 발견했습니다.
핵심 포인트
- 사후 편집(Post-editing)은 LLM 생성 초안의 스타일을 사용자의 비보조 작성 텍스트에 가깝게 조정하는 데 효과적이다.
- 사후 편집된 텍스트는 여전히 순수 인간 텍스트 대비 스타일적 다양성이 감소하고 LLM의 흔적을 포함한다.
- 사용자들은 사후 편집된 텍스트가 개인적인 스타일을 대표한다고 자주 인식하지만, 이는 모델이 측정하는 객관적 유사성과 괴리가 있다.
- LLM 생성 텍스트를 인간화하기 위해서는 단순한 수정 이상의 깊은 개입이 필요하다.
대규모 언어 모델 (LLMs) 이 글쓰기 작업에 널리 사용되고 있음에도 불구하고, 개인적인 스타일이 중요한 경우 사용자들은 LLM 에 의존하는 것을 주저할 수 있습니다. LLM 로 생성된 초안이나 번역문을 사후 편집 (post-editing) 하는 것은 일반적인 협업 글쓰기 전략이지만, 사용자가 LLM 로 생성된 텍스트를 효과적으로 수정하여 자신의 개인적인 스타일을 반영할 수 있는지 여부는 여전히 불명확합니다. 우리는 개인적인 스타일이 중요한 글쓰기 작업에 대해 참가자들이 LLM 로 생성된 초안을 사후 편집하는 온라인 사전 등록 연구 ($n=81$) 를 수행했습니다. 임베딩 기반 스타일 유사도 지표를 사용하여, 사후 편집이 참가자의 비보조 (unassisted) 작성 텍스트에 대한 스타일적 유사성을 높이고 완전히 LLM 로 생성된 출력물에 대한 유사성을 낮추는 것으로 나타났습니다. 그러나 사후 편집된 텍스트는 여전히 스타일적으로 참가자의 비보조 통제 텍스트보다 LLM 텍스트와 더 가깝게 유지되며, 비보조 인간 텍스트에 비해 스타일적 다양성이 감소하는 특징을 보입니다. 우리는 인지된 스타일적 진정성과 모델이 측정하는 스타일적 유사성 사이에 간극이 있음을 발견했으며, 사후 편집된 텍스트는 여전히 감지 가능한 LLM 의 스타일적 흔적을 가지고 있음에도 불구하고 참가자의 개인적인 스타일을 대표한다고 자주 인식되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기