본 연구는 LLM이 목표를 어떻게 인코딩하고 행동에 반영하는지 조사합니다. 코딩 환경을 구축하여 희소 어텐션 헤드에서 다음 하위 목표의 국지적 인코딩을 확인했습니다. 또한, 트랜스포머 구조의 한계를 극복하며 목표가 유지되는 현상을 '비순환 목표 추구(NRGS)' 관점으로 설명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 LLM이 목표를 어떻게 인코딩하는지(그 여부와 방식) 조사합니다. 여기서 목표란 행동에 앞서고 행동을 안내하며, 여러 다른 실행 경로를 통해 실현될 수 있을 만큼 충분히 유연한 내부 신경 표현입니다. 우리는 목표 추구 행동과 하위 목표 선택을 평가할 수 있도록 여러 개의 하위 작업(sub-tasks)으로 구성된 코딩 환경을 구축합니다.
이 환경에서, 우리는 희소한 어텐션 헤드(attention heads) 세트의 출력물에서 다음 하위 목표에 대한 인코딩을 국지화합니다. 동일한 헤드는 자연어(예: "이 단어가 회문인지 확인하고 있습니다")로 LM의 미래 행동을 디코드하는 데 사용될 수 있습니다. 우리는 이 인코딩이 다음 행동에 대해 인과적(causal)이며 가소적(plastic)임을 검증합니다. 예를 들어, 다른 프로그래밍 언어와 같은 다른 환경으로 이를 옮겨 심으면, 서로 다른 토큰 시퀀스로 실현되는 동일한 연산을 유발합니다.
또한 LM은 행동 실행 전반에 걸쳐 이 인코딩을 유지하는데, 이는 혼란스러운 부분입니다. 왜냐하면 순환 구조(recurrence)가 없는 트랜스포머 LM은 남아있는 레이어 수보다 더 많은 토큰 동안 상태를 전달할 수 없기 때문입니다. 우리는 그것이 그럴 필요가 없다고 제안합니다. 비순환 목표 추구(Non-recurrent Goal-seeking, NRGS) 관점 하에서, LM은 작업 명세서로부터 목표를 자주 다시 읽고, 증가하는 컨텍스트에 보이는 진행 상황과 비교하며, 남아있는 것을 추구합니다. 우리는 표적 인과 개입(targeted causal interventions)을 사용하여 이 관점의 예측을 테스트합니다.