델타 기반 신경망 구조 생성: 코드 디프스를 통한 LLM 미세 조정

요약

본 연구는 대규모 언어 모델(LLMs)을 활용하여 신경망 구조를 생성하는 기존 방식의 높은 계산 비용과 긴 코드 길이 문제를 해결하기 위해 '델타 코드 생성' 방식을 제안합니다. 이 방법은 전체 모델 코드를 처음부터 생성하는 대신, 기본 아키텍처에 대한 컴팩트한 통합 디프스(deltas)만을 생성하여 효율성을 극대화합니다. 연구진은 다양한 데이터셋과 여러 LLM을 사용하여 평가했으며, DeepSeek-Coder, Qwen2.5-Coder, Mistral 등 모든 모델이 기존의 전체 생성 기준선 및 동시 접근법보다 월등히 높은 성능(예: CIFAR-10 1 에포크 정확도)을 달성했음을 입증했습니다.

핵심 포인트

• 전통적인 LLM 기반 NAS는 전체 모델 코드를 생성하여 비용과 길이가 과다하다는 단점이 있다.
• 제안된 '델타 코드 생성'은 기본 아키텍처에 대한 효율적이고 컴팩트한 업데이트(deltas)만 생성함으로써 이 문제를 해결한다.
• 연구 결과, DeepSeek-Coder, Qwen2.5-Coder, Mistral 등 평가된 모든 LLM이 기존의 전체 모델 생성 방식보다 높은 정확도와 유효율을 보였다.
• 델타 기반 접근법은 토큰 효율적이며 다중 도메인에 적용 가능하고 특정 LLM에 종속되지 않는 범용적인 대안이다.