도구 호출(Tool Calling)은 언어 모델에서 선형적으로 읽고 조종 가능합니다

요약

본 연구는 다양한 대규모 언어 모델(LLM)을 대상으로 도구 호출(Tool Calling) 메커니즘을 분석하여, 선택된 도구의 정체성이 모델 내부 활성화 값에 선형적으로 인코딩되어 있음을 발견했습니다. 이는 단순히 프롬프트에서 도구 이름을 변경하는 것만으로도 높은 정확도로 모델이 다른 도구를 선택하도록 조종할 수 있음을 의미합니다. 또한, 이러한 내부 표현 차이를 활용하여 잠재적인 오류를 사전에 감지하고 플래그 지정하는 것도 가능함을 보여줍니다.

핵심 포인트

• 선택된 도구의 정체성은 LLM 내부 활성화 값에 선형적으로 인코딩되어 있어 조작이 용이합니다.
• 단일 턴 프롬프트에서 도구 이름 변경만으로도 높은 정확도로 모델의 도구 선택을 전환할 수 있습니다 (77-100%).
• 내부 표현 분석을 통해 도구 호출 과정에서 발생 가능한 잠재적 오류를 사전에 감지하고 플래그 지정하는 것이 가능합니다.
• 모델의 사전 학습(pretraining) 단계가 표현 형성 및 지침 조정(instruction tuning)이 출력 연결에 기여함을 시사합니다.