재사용 가능하고 조합 가능한 추상 표현을 사용하는 LLM 프로그램

요약

본 연구는 LLM이 코드를 생성할 때, 여러 프로그래밍 언어와 구현 전략에 걸쳐 재사용 가능하고 조합 가능한 추상 표현(activations)을 포착한다는 것을 보여줍니다. 이러한 공유 구조를 활용하여 함수나 언어별로 독립적인 개입이 가능하며, 이는 모델의 일반화 능력을 향상시킵니다.

핵심 포인트

• LLM은 코드 생성 시 재사용/조합 가능한 추상 표현을 학습함.
• 활성화 조향(activation steering)으로 함수, 언어 등을 독립적으로 제어 가능.
• 한 언어에서 학습된 지식이 다른 언어로 전이되는 현상을 확인.
• 공유되고 조합 가능한 구조를 가진 최소 모델로 구현 및 검증.