Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ACROS는 동결된 사전 학습된 디코더 언어 모델 내부에 명시적인 의미 경로를 유도하는 새로운 방법론을 제안합니다. SmolLM2-360M 모델을 통해 중의성 해소, 어휘 스티어링, 교차 언어 적응 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기의미 표현 (Sense representations; 명시적이고 토큰별로 분해된 의미)은 중의성 해소 (disambiguation), 스티어링 (steering), 그리고 교차 언어 정렬 (cross-lingual alignment)에 유용하지만, 기존 방식들은 모델이 의미 구조가 내재된 상태로 사전 학습 (pretrained)될 것을 요구합니다. 우리는 게이트형 잔차 결합 (gated residual addition)을 통해 동결된 사전 학습된 디코더 언어 모델 (frozen pretrained decoder LM) 내부에 명시적인 의미 경로를 유도하는 ACROS를 소개합니다. SmolLM2-360M 모델에서 ACROS는 기본 언어 모델 (base LM)의 품질을 유지하면서 동일한 유도 변수의 세 가지 활용을 지원합니다: 제로샷 단어 의미 중의성 해소 (zero-shot word-sense disambiguation; Raganato ALL에서 64.95 F1을 기록하며 WordNet 첫 번째 의미 휴리스틱 (first-sense heuristic)과 경쟁 가능한 수준), 5,161개의 CoInCo 사례에 걸친 낮은 KL 발산 (low-KL) 어휘 스티어링 (lexical steering; 단순한 비-오라클 프록시 (non-oracle proxy)가 양의 변화의 약 90%를 회복), 그리고 4개 언어에 대한 SENSIA 교차 언어 적응 (cross-lingual adaptation; 평균 R@1 0.988, 타겟 FLORES PPL 7.94). ACROS는 의미 표현을 일반적인 사전 학습된 언어 모델 (pretrained LMs)을 위한 유도 가능한 인터페이스로 만듭니다.