Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 인컨텍스트 학습 과정에서 유도되는 함수 벡터(Function Vectors)의 설계 요소를 분석합니다. 어텐션 헤드 선택과 스티어링 방식이 LLM 제어 성능에 미치는 영향을 연구하며, 효율적인 그래디언트 기반 기여도 산출법을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기함수 벡터 (Function Vectors, FVs)는 인컨텍스트 학습 (In-context learning) 과정에서 유도되는 작업 표현 (Task representations)으로, 거대 언어 모델 (Large Language Models, LLMs)을 제어하는 데 사용될 수 있습니다. 그러나 그 공식화 (Formulation) 과정에서의 설계 선택 사항들은 아직 충분히 연구되지 않았습니다. 본 연구에서는 어텐션 헤드 선택 (Attention head selection)과 스티어링 (Steering)이라는 두 가지 자유도를 따라, 지시문 (Instructions)에 대한 다양한 FV 정의의 영향을 연구합니다. 헤드 선택의 경우, 계층적 관련성 전파 (Layer-wise Relevance Propagation, LRP)를 이용한 그래디언트 기반 기여도 (Gradient-based attributions)를 사용하면 효율성과 정확도가 실질적으로 향상됩니다. FV 스티어링의 경우, 이를 분산된 방식 (Distributed manner)으로 적용하면 단순한 집계 (Simple aggregation) 방식에 비해 더 높은 정확도를 얻을 수 있습니다. 저희의 코드는 공개적으로 사용 가능합니다.