작업 컨텍스트가 언어 모델의 구성 요소 역할에 미치는 영향

요약

본 연구는 LLM이 여러 작업에서 공유하는 어텐션 헤드가 각 작업에 따라 어떻게 다르게 작동하는지 네트워크 관점에서 분석했습니다. 그래프 사실을 이용한 개입 실험을 통해, 작업 컨텍스트가 모델의 내부 활성화와 후반 레이어의 영향력 분배를 변화시키는 것을 측정했습니다. 이는 LLM이 공유 매개변수를 활용하여 다양한 계산을 수행함을 보여줍니다.

핵심 포인트

• 작업 컨텍스트는 공유 어텐션 헤드의 반응 방식을 바꾼다.
• 그래프 사실 개입은 내부 활성화와 후반 레이어의 영향력에 영향을 준다.
• 선형 응답 맵 구축으로 작업 의존적 변화를 예측하고 측정했다.
• 네트워크 관점 분석이 모델의 다중 작업 수행 원리를 설명하는 데 도움을 준다.