FOXGLOVE: 논증적 에세이에 대한 전문가 및 LLM의 목표 지향적이고 고정된 글쓰기 피드백 이해

대규모 언어 모델 (LLMs)이 글쓰기 피드백을 생성하는 데 점점 더 많이 사용되고 있지만, 글쓰기 연구에서 수정의 핵심으로 식별하는 차원인 목표 지향성 (goal-orientation), 특정 문장에 대한 고정 (anchoring to specific sentences), 그리고 우선순위 지정 (prioritization) 측면에서 LLM과 전문가 피드백을 체계적으로 비교한 연구는 아직 존재하지 않습니다. 우리는 훈련된 글쓰기 지도자들이 69개의 12학년 논증적 에세이에 대해 작성한 696개의 피드백 코멘트와, 동일한 프로토콜 하에 4개의 프런티어 LLMs (frontier LLMs)로부터 생성된 1,644개의 코멘트를 쌍으로 구성하여 총 2,340개의 코멘트를 포함하는 데이터셋인 FOXGLOVE를 소개합니다. 우리는 지도자와 LLM 코멘트의 일부 하위 집합에 대해 전문가 품질 등급 (expert quality ratings)을 제공합니다. 연구 결과, 지도자와 LLM은 목표와 에세이 위치에 따라 피드백을 유사하게 배분하지만, 피드백을 제공할 특정 문장에 대해서는 지도자와 모델 간에 차이를 보인다는 것을 발견했습니다. 또한, 모델은 지도자보다 더 복잡한 피드백을 작성하고 질문을 더 적게 사용하는 경향이 있음을 확인했습니다. LLM 피드백은 지도자들이 평가한 대부분의 품질 차원에서 더 높은 등급을 받았으나, 이러한 이점의 상당 부분은 더 긴 코멘트 길이에 기인하는 것으로 보입니다. FOXGLOVE는 인간과 LLM의 피드백이 일치하고, 갈라지며, 차이가 나는 지점을 체계적으로 비교할 수 있게 해줍니다.