Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
사전 학습된 언어 모델의 프롬프팅 전략과 학습 목적 간의 정렬을 예측하는 '마스커빌리티 지수(MI)'를 제안합니다. MI는 마스크 스타일과 접두사 스타일 프롬프팅 중 어떤 것이 적합한지 정량적으로 측정하며, 이는 모델의 지식 추출 성능과 높은 상관관계를 보입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기T5 및 BERT와 같은 대규모 사전 학습된 언어 모델 (Pretrained Language Models)은 구조화된 지식을 생성하는 데 강력한 능력을 입증해 왔습니다. 그러나 이들의 성능은 프롬프팅 전략 (Prompting Strategy)이 사전 학습 (Pretraining) 중에 사용된 목적 (Objectives)과 얼마나 밀접하게 일치하는지에 따라 달라집니다. 우리는 퓨샷 생성 (Few-shot Generation)에서 지식 관계가 마스크 스타일 프롬프팅 (Masked-style Prompting)에 더 적합한지 또는 접두사 스타일 프롬프팅 (Prefix-style Prompting)에 더 적합한지를 추정하는 정량적 지표인 마스커빌리티 지수 (Maskability Index, MI)를 소개합니다. MI는 마스크 처리된 템플릿과 마스크 처리되지 않은 템플릿 간의 DepthRank 점수 차이로부터 계산되며, 목적-템플릿 정렬 (Objective-template Alignment)에 대한 원칙적인 척도를 제공합니다. 우리는 ATOMIC2020 지식 베이스 완성 벤치마크의 다양한 관계 세트에서 MI를 평가하였으며, 이것이 다운스트림 생성 성능 (Downstream Generation Performance)과 양의 상관관계가 있음을 보여줍니다. 이러한 결과는 MI가 사전 학습된 언어 모델로부터 관계적 지식을 추출할 때, 특히 저자원 환경 (Low-resource Settings)에서 적절한 프롬프팅 템플릿 및 적응 전략 (Adaptation Strategies)을 선택하는 데 도움을 줄 수 있음을 나타냅니다.