Gumbel Machine: Gumbel 노이즈 조향을 통한 반사실적 학생 글쓰기 생성

학문 분야를 막론하고 효과적인 교수법 중 하나는 고품질의 작업 예시를 제공하는 것입니다. 하지만 예시가 학생의 현재 작업물과 크게 다를 경우, 학생들이 이를 모방하기 어려울 수 있습니다. 이상적인 학습 시연은 학생 작업물의 반사실적 (Counterfactual) 버전, 즉 학생 자신의 것과 유사하면서도 개선된 버전입니다. 거대 언어 모델 (LLMs)을 사용하여 반사실적 텍스트를 생성하는 기존의 자동화된 접근 방식들은 특정 도메인에 국한된 시스템을 만들어내어 실제 응용 분야로 전환하기 어렵다는 단점이 있습니다. 본 논문에서는 LLM의 지시 이행 (Instruction-following) 능력을 활용하면서 참조 사실 텍스트 (Reference factual text)와의 유사성을 유지하도록 장려하는 유연하고 모듈화된 반사실적 생성 접근 방식인 Gumbel Machine을 제시합니다. 우리 접근 방식의 핵심은 새로운 제어형 디코딩 (Controlled decoding) 알고리즘인 $\beta$-Hindsight control이며, 이는 반사실적 생성 과정에서 잠재적 무작위성 (Latent randomness)을 조정 가능한 유사성 제어 메커니즘으로 사용합니다. 다양한 기준에 따라 점수가 매겨진 학생 글쓰기 데이터셋을 활용한 실험을 통해, 우리의 접근 방식이 루브릭 (Rubric)과 일치하면서도 참조 문헌과 유사한 반사실적 사례를 생성하는 데 효과적임을 입증하였습니다.