고정된 타겟에 대한 구문 수준 추측 디코딩

요약

기존 추측 디코더는 타겟 어휘 사용으로 구문 예측에 한계가 있었습니다. 본 연구는 작은 MLP 헤드를 활용하여 고정된 타겟의 은닉 상태로부터 별도의 초안 어휘 기반 1~3단어 구문을 예측하는 방식을 제안합니다. 이 방법은 파라미터 효율성을 유지하면서 GSM8K 등 여러 수학 세트에서 높은 처리량 향상을 입증했습니다.

핵심 포인트

• MLP 헤드를 사용하여 별도의 초안 어휘로 1~3단어 구문을 예측함.
• 기존 추측 디코더의 구문 예측 한계를 극복하는 새로운 방식 제시.
• GSM8K, MATH-500 등에서 최대 2.444배에 달하는 처리량 향상 기록.
• 파라미터 효율성이 높고 기존 SOTA 모델 대비 우수한 성능을 보임.