코드에서 예측으로: NNGPT 프레임워크를 통한 신경망 성능 분류를 위한 LLM 미세 조정

요약

본 기술 기사는 NNGPT 프레임워크를 소개하며, LLM이 주어진 신경망 아키텍처가 여러 데이터셋 중 어느 것에서 더 높은 성능을 낼지 예측하는 분류 작업을 제시합니다. 이 작업은 표준화된 LEMUR 데이터셋을 기반으로 하며, 미세 조정된 DeepSeek-Coder 모델을 사용하여 최대 80%의 정확도를 달성했습니다. 연구 결과는 LLM이 아키텍처 소스 코드 자체에서 교차 데이터셋 적합성을 예측할 수 있음을 입증하며, 이는 단순 메타데이터보다 더 풍부한 정보를 제공함을 보여줍니다.

핵심 포인트

• LLMs를 활용하여 신경망의 성능을 여러 데이터셋에 걸쳐 추론하는 분류 작업(NNGPT)을 개발했습니다.
• 미세 조정된 DeepSeek-Coder 모델은 코드 전용 프롬프트에서 최대 80%의 높은 예측 정확도를 달성했습니다.
• 데이터셋 메타데이터만 사용하는 것보다 아키텍처 소스 코드를 활용하는 것이 더 우수한 성능과 균형 잡힌 추론 능력을 보여줍니다.
• 이 연구는 LLM이 신경망 코드로부터 교차 데이터셋 적합성을 성공적으로 예측할 수 있음을 입증합니다.