SkillSmith: 모델이 텍스트를 쓰는 대신 "자신의 가중치를 직접 작성"하게 하는 AI 연구

Nokka (นก-กา) 작성 | 2026년 8월 4일

이 글은 Hermes Agent를 통해 AI (deepseek-v4-flash:0731)가 작성하였으며, Nokka (นก-กา)가 인간의 통제 및 품질 검토를 거쳤습니다.

현재의 AI 에이전트(AI agent)가 어떻게 작동하는지 상상해 보세요. 복잡한 과제에 직면했을 때, 이들은 두 가지 주요 메커니즘을 번갈아 가며 사용합니다. 첫 번째는 지식을 텍스트로 작성하는 것입니다. 예를 들어, 성공했던 단계를 파일에 요약하여 저장한 뒤 나중에 다시 사용하는 방식입니다. 두 번째는 기술을 모델 가중치(model weights)로 저장하는 것입니다. 이는 AI가 특정 하위 목표를 더 정확하게 수행할 수 있도록 만드는 파라미터(parameter)입니다.

문제는 이 두 메커니즘이 진지하게 결합된 적이 거의 없다는 점입니다. 대부분의 연구는 둘 중 하나만을 선택합니다. arXiv에 발표된 새로운 연구인 SkillSmith는 다른 접근 방식을 제안합니다. 즉, AI가 "모델 가중치"를 스스로 추론하고 새로운 기술을 생성하는 데 사용할 수 있는 일종의 데이터 유형으로 간주하도록 하는 것입니다.

이 글에서는 기술을 알고 싶은 AI 개발자와 AI 뉴스를 따라가고 싶은 일반인 모두를 위해 이 연구를 이해하기 쉽게 요약해 보겠습니다.

이 연구는 무엇인가

SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge는 2026년 7월 29일에 arXiv에 공개된 Computation and Language (cs.CL) 분야의 연구입니다 [1].

Lucio M. Dery와 Benedict Aaron Tjandra가 이끄는 저자 팀은 다른 여러 연구원과 협력하였습니다. 이 연구의 주요 과제는 이전에 분리되어 있던 두 가지 접근 방식, 즉 텍스트 기반 지식과 모델 가중치 기반 기술을 함께 작동하도록 결합하는 것입니다.

SkillSmith: ผสานความรู้ข้อความกับน้ำหนักโมเดลเข้าด้วยกัน

이 연구가 해결하려는 문제

이미지를 그려보기 위해, 오늘날의 AI 에이전트가 얼마나 "평행하게" 두 가지 방식으로 학습하고 문제를 해결하는지 살펴보겠습니다.

방법 1: 텍스트 형태의 지식 축적 (Textual Knowledge)

AI가 과거 경험으로부터 얻은 단계별 절차, 지식 또는 요약본을 텍스트로 작성하여 저장한 뒤, 향후 유사한 문제를 만났을 때 이를 활용하는 방식입니다. 이 방법은 성찰 (reflection) 및 지식 구성 (composition) 과정을 통해 수행됩니다.

방법 2: 모델 가중치 형태의 기술 축적 (Parametric Skills)

AI가 반복되는 하위 목표(예: 특정 작업을 더 잘 수행하는 것)를 달성하기 위해 모델의 가중치를 통합하거나 조정하는 방식입니다. 가중치 공간 병합 (weight-space merging)과 같은 기술이 사용됩니다.

두 방법의 약점

주요 문제는 방법 1은 지식을 텍스트로 저장하지만 이를 모델 내부의 "실제 능력"으로 전환할 수 없다는 점입니다. 방법 2는 능력을 가중치에 저장하지만 텍스트로 된 문맥 정보를 충분히 활용하지 못합니다. 대부분의 연구는 한 가지 측면에만 집중하여, 두 가지를 결합함으로써 얻을 수 있는 더 나은 결과의 기회를 놓치고 있습니다.

핵심 개념: 모델 가중치를 하나의 "데이터"로 간주

SkillSmith의 핵심은 **모델의 가중치 자체도 텍스트나 이미지와 마찬가지로 LLM이 추론할 수 있는 하나의 모달리티 (modality)**라는 개념에 있습니다.

과거에는 텍스트와 모델 가중치를 서로 다른 영역으로 보았습니다. 텍스트는 인간이 읽을 수 있는 것이고, 가중치는 인간이 읽을 수 없는 방대한 숫자들의 집합이었습니다. 하지만 LLM은 우리가 가중치 숫자를 해석하도록 학습시킨다면 두 가지 모두를 "이해"할 수 있습니다.

이 개념은 모델의 개선이 오직 훈련 (training)이나 병합 (merge)과 같은 외부 알고리즘을 통해서만 이루어져야 한다는 기존의 사고방식을 바꿉니다 [1]. SkillSmith는 LLM 스스로가 텍스트와 숫자 데이터를 모두 사용하여 새로운 가중치를 "작성"할 수 있다고 제안합니다.

SkillSmith의 작동 원리

SkillSmith는 **프리픽스 튜닝 (prefix-tuning)**이라 불리는 기술을 사용합니다. 이 방식은 모델 전체를 새로 훈련할 필요 없이 작은 파라미터 세트(프리픽스라고 함)를 추가하여 모델을 조정합니다. 그 후, LLM이 이 두 가지(텍스트와 가중치)를 동시에 읽을 수 있도록 능력을 확장합니다.

ขั้นตอนการทำงานของ SkillSmith ทั้ง 4 ขั้น

전체적인 프로세스는 다음과 같습니다.

1. 경험 데이터 수신 — 시스템은 목표로 하는 기술과 관련된 경험이나 지식을 서술한 텍스트 데이터를 수신합니다.

2. prefix-tuning 사용 — 원하는 기술의 "시작점"을 나타내는 작은 가중치 세트(prefix weights)를 생성합니다.

3. 두 데이터 모두에 대해 LLM이 추론 수행 — 미세 조정된 LLM(SkillSmith라고 불림)이 prefix weights와 텍스트 데이터를 함께 읽어, 이 두 요소와 목표 기술 사이의 관계를 이해합니다.

4. 새로운 가중치 합성 — SkillSmith는 받은 지시(instruction)에 따라 원하는 기술을 직접적으로 "표현하는" 새로운 prefix weights를 생성합니다.

이 프로세스를 instruction-steered parametric synthesis (지시 기반 파라미터 합성)라고 부릅니다.

연구 결과

연구팀은 SkillSmith가 다음과 같은 몇 가지 흥미로운 결과를 보고했습니다.

단일 baseline을 능가함 — SkillSmith는 텍스트만을 사용하는 방식과 가중치만을 사용하는 방식 모두보다 더 나은 성능을 보여주었습니다.

단일 방식으로는 불가능한 결과 달성 — 두 가지 modality(양식)를 결합함으로써 단일 방식으로는 도달할 수 없는 높은 효율성을 달성했습니다. 이는 가중치를 하나의 데이터 유형으로 간주하는 것이 단순히 이론적인 개념이 아니라 실제로 유익하다는 증거입니다.

모델 조정의 새로운 길을 개척 — 외부의 학습 알고리즘에 의존하는 대신, LLM이 지시로부터 스스로 "생각"하고 새로운 가중치를 생성할 수 있는 매개체가 됩니다.

AI 개발자에게 이 연구가 흥미로운 이유

개발자들에게 SkillSmith의 개념은 여러 새로운 관점을 제시합니다.

"추론 가능한" 모델 조정 — 고정된 공식에 따라 학습 코드를 작성하거나 병합(merge)하는 대신, LLM에게 직접 새로운 가중치를 생성하도록 명령할 수 있어 모델 개선이 더욱 유연해집니다.

다양한 출처의 지식 통합 — 문맥 정보(텍스트)와 실제 능력(가중치)이 함께 활용되어, 단일 출처를 사용할 때보다 더 정밀한 기술을 얻을 수 있습니다.

무거운 학습 작업 감소 — prefix-tuning은 모델 전체를 학습시키는 것보다 가볍기 때문에, 새로운 기술을 생성하는 속도가 더 빠르고 자원 소모가 적습니다.

일반인에게 이 연구가 흥미로운 이유

개발자가 아니더라도 이 연구는 미래 AI의 방향성을 반영하기 때문에 계속 주목할 가치가 있습니다.

AI가 명령에 따라 스스로 "더 똑똑해질" 수 있음 — 엔지니어가 매번 모델을 새로 학습(Train)시킬 필요 없이, AI가 받은 명령에 따라 스스로 새로운 능력을 생성할 수 있습니다.

특정 작업에 적응하는 AI — 이 개념을 통해 AI는 각 사용자나 조직의 요구사항에 맞춰 더욱 정밀하게 특화된 기술(Skill)을 발전시킬 수 있습니다.

개발 비용 절감 — AI가 고강도 학습 없이 스스로 기술을 생성할 수 있다면, 특화 모델(Specialized Model)은 더 저렴하고 접근하기 쉬워질 것입니다.

주의사항 및 한계점

개념은 흥미롭지만, 주의해야 할 점들도 있습니다.

초기 단계의 연구 — 이 연구는 최근 처음 공개되었으며, 다른 연구자들에 의한 추가적인 발전과 재검증이 필요합니다.

prefix-tuning의 한계 — prefix를 통한 조정(Tuning)이 모든 경우에서 전체 학습(Full Training)과 동일한 수준의 능력을 제공하는 것은 아닙니다.

안전성 문제 — LLM이 모델 가중치(Weights)를 직접 생성하게 하는 것은 생성된 가중치의 위험성과 신뢰성에 대한 검토가 반드시 동반되어야 합니다.

요약

SkillSmith는 "모델 가중치"를 LLM이 추론할 수 있는 일종의 데이터로 간주하는 새로운 개념을 제안하는 연구입니다. prefix-tuning과 텍스트 데이터 읽기를 결합하여, LLM이 원하는 기술을 나타내는 새로운 가중치를 직접 합성(Synthesize)할 수 있도록 합니다.

결과에 따르면 이 두 가지 모달리티(Modality)를 결합하는 것이 단일 방식을 사용하는 것보다 우수함을 보여주었으며, AI가 단순히 텍스트로 설명하는 것을 넘어 명령으로부터 스스로 새로운 능력을 창출하는 미래의 문을 열었습니다.

제 관점에서 이 연구는 AI가 "자신이 무엇을 할 수 있는지 말하는 AI"에서 "자신을 위한 새로운 능력을 스스로 만드는 AI"로 진화하는, 매우 주목할 만한 방향성을 보여주는 흥미로운 단계라고 생각합니다.

상세한 내용을 읽어보고 싶으시다면 arXiv:2607.27497을 확인해 보세요.

참고 문헌

[1] Dery, Lucio M. et al. "SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge". arXiv:2607.27497 [cs.CL]. 2026년 7월 29일. https://arxiv.org/abs/2607.27497

이러한 연구가 AI 산업을 어떤 방향으로 변화시킬 것이라고 생각하시나요? 댓글로 의견을 공유해 주세요 — Nokka는 여러분의 생각을 환영합니다.