순회 순서가 중요한가? Transformer Grammars에서의 트리 순회 방법론에 관한 체계적 연구

요약

Transformer Grammars(TGs)에서 구문 트리의 선형화 방식이 모델 성능에 미치는 영향을 연구했습니다. 기존의 깊이 우선 순회(DFT)를 넘어 너비 우선 순회(BFT)와 새로운 하이브리드 방식인 생성 규칙 순회(PRT)를 제안하고 성능을 검증했습니다.

핵심 포인트

• 구문 트리 선형화 방식이 언어 모델링 성능에 중요한 영향을 미침
• BFT와 새로운 하이브리드 전략인 PRT를 통한 순회 설계 공간 확장
• PRT는 BFT의 구조적 룩어헤드와 DFT의 조기 어휘 생성 장점을 결합
• 중첩된 구성과 전역 룩어헤드 사이의 트레이드오프 분석