문장 인코더의 개념 표현 원리

무엇이 문장 인코더(sentence encoder)로 하여금 좋은 개념 표현(concept representations)을 생성하게 만드는가? 우리는 이를 표현적 구성성(representational compositionality)의 관점에서 접근한다. 즉, 인코더의 잠재 공간(latent space)이 해당 의미 연산자(semantic operator)의 저왜곡 실현(low-distortion realization)을 허용할 때에만 해당 인코더는 개념군(concept family)을 지원할 수 있다. 이러한 프레임워크는 현재의 인코더들이 어디에서 성공하고, 어디에서 감독(supervision) 데이터와 구조적으로 불일치하는지를 예측한다. WordNet과 Wiktionary에서 추출한 330만 개의 유의어 및 정의 쌍으로 학습된 인코더 조건들에 대해 통제된 절제 연구(controlled ablation)를 수행하고, 세 가지 오염 제거 분할(decontaminated splits) 및 수식어 레이블이 지정된 명사구(modifier-labeled noun-phrase) 벤치마크를 통해 평가한 결과, 우리는 네 가지 원리를 식별하였다. 첫째, 미세 조정(Fine-tuning)은 잠재 기하학(latent geometry)을 확장하기보다는 재보정(recalibrate)한다 (P1). 둘째, 의미 신호(Semantic signal)는 개념 특화 학습이 시작되기 전 마지막 트랜스포머 레이어(transformer layer)에 집중되므로, 레이어 간 풀링(cross-layer pooling)은 불필요하다 (P2). 셋째, 하드 네거티브(Hard negatives)는 검색 순위(retrieval ranking)를 개선하지 않으면서도 변별력을 높이고 강건성(robustness)을 테스트하며, 이는 보정(calibration)과 순위 지정(ranking)이 독립적으로 해결 가능하다는 것을 보여준다 (P3). 마지막으로, 감독의 효과는 대상 개념의 구성 유형(composition type)에 따라 달라진다. 외연적 학습(Extensional training)은 교차적(intersective) 및 부분적(subsective) 개념군에는 도움이 되지만, 관계적(relational) 및 내포적(intensional) 개념군에는 성능을 저하시키며, 이는 현재 학습 패러다임의 구조적 한계를 드러낸다 (P4). 우리는 두 가지 새로운 평가 데이터셋인 DBpedia 의미 격차(semantic-gap) 벤치마크와 수식어 레이블이 지정된 명사구(NP) 패러프레이즈 제품군을 공개한다.