Level-Playing-Field 평가 원칙을 사용한 제어된 텍스트 생성 (Controlled Text Generation) 시스템의 비교

배경: 최근 몇 년 동안 제어된 텍스트 생성 (Controlled Text Generation, CTG)을 위한 다양한 접근 방식이 제안되었으나, 각 사례마다 제어 성능을 평가하기 위해 서로 다른 데이터셋과 평가 방법을 사용하기 때문에 어떤 접근 방식이 가장 우수한 성능을 보이는지 명확한 그림을 얻기가 어렵습니다. 목적: 본 논문에서 보고하는 연구의 목적은 개별 시스템에 대해 유익하면서도 공정한 방식으로 서로 다른 CTG 시스템을 비교 평가할 수 있는 평가 접근 방식을 개발하는 것입니다. 방법: 우리는 비교 평가를 위해 Level-Playing-Field (LPF) 접근 방식을 사용하며, 여기에서 우리는 (i) 모든 시스템 출력을 표준화된 방식으로 생성 및 처리하고, (ii) 공정한 평가를 보장하기 위해 현재 사용 중인 것들을 기반으로 선정된 공유된 평가 방법 및 데이터셋 세트를 적용합니다. 결과: 이러한 방식으로 재평가했을 때, 현재 CTG 시스템의 대표적인 세트에 대한 성능 결과는 원래 보고된 결과와 상당히 다르며, 대부분의 경우 더 나쁜 결과로 나타났습니다. 이는 제어된 생성 (Controlled Generation)을 평가하는 공유된 표준화된 방식의 중요성을 강조합니다. 결론: LPF 평가를 통해 드러난 불일치는 CTG 분야에서 표준화되고 재현 가능한 평가 관행이 시급히 필요함을 보여줍니다. 우리의 결과는 이러한 관행이 없다면, 발표된 성능 주장들이 시스템의 실제 능력을 상당히 잘못 나타낼 수 있음을 시사합니다.