Sequence-to-Sequence 구구조 구문 분석을 위한 사전 학습된 Encoder-Decoder Transformer 활용

요약

본 논문은 심층적인 자연어 이해를 위해 중요한 구구조 구문 분석(Syntactic Constituent Parsing)에 대해, 기존의 작업 특화형 파서를 넘어선 시퀀스 투 시퀀스 프레임워크를 제안합니다. 특히 BART, mBART, T5와 같은 사전 학습된 Encoder-Decoder 아키텍처를 활용하여 이 분야의 격차를 해소하고자 합니다. 연구진은 이러한 모델들을 선형화된 구문 트리 생성에 미세 조정하고, 다양한 벤치마크에서 평가한 결과, 제안된 접근 방식이 기존 시퀀스 투 시퀀스 모델보다 우수하며 최신 작업 특화형 파서와 경쟁할 만한 성능을 보임을 입증했습니다.

핵심 포인트

• 구구조 구문 분석은 NLU의 핵심 요소이며, 전통적인 방법론에서 벗어나 S2S(Sequence-to-Sequence) 접근이 필요하다.
• 기존 연구는 Encoder-only 모델에 의존했으나, 본 연구는 BART, mBART, T5와 같은 Encoder-Decoder 모델을 활용하여 이 격차를 해소한다.
• 제안된 파서는 선형화된 구문 트리를 생성하도록 미세 조정되었으며, 연속적/불연속적 벤치마크에서 광범위하게 평가되었다.
• 연구 결과, 제안된 Encoder-Decoder 기반 S2S 모델은 기존의 모든 S2S 모델보다 성능이 뛰어나며, 최신 작업 특화형 파서와 경쟁할 만한 수준에 도달했다.