Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
자연어 명세를 통해 컴팩트한 신경망 아티팩트를 생성하는 'Program-as-Weights(PAW)' 패러다임을 제안합니다. LLM을 직접 호출하는 대신, 특정 작업을 수행하는 경량 어댑터를 생성하여 비용과 메모리 효율을 극대화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기중요한 로그 라인에 대한 알림, 잘못된 형식의 JSON 복구, 또는 의도에 따른 검색 결과 순위 지정과 같은 많은 일상적인 프로그래밍 작업들은 깔끔한 규칙 기반(rule-based) 구현이 어렵습니다. 이러한 작업들은 로컬리티(locality), 재현성(reproducibility), 그리고 비용의 희생을 감수하며 점점 더 대규모 언어 모델(LLM) API로 외주화되고 있습니다. 우리는 퍼지 함수 프로그래밍(fuzzy-function programming)을 제안합니다. 이는 자연어 명세(natural-language specification)로부터 컴파일하여, 컴팩트하고 로컬에서 실행 가능한 신경망 아티팩트(neural artifact)를 생성하는 방식입니다. 우리는 이 패러다임을 Program-as-Weights (PAW)로 구체화합니다. PAW에서는 우리가 공개하는 1,000만 개의 예제로 구성된 데이터셋인 FuzzyBench로 학습된 4B 컴파일러가, 동결된(frozen) 경량 인터프리터를 위한 매개변수 효율적인 어댑터(parameter-efficient adapters)를 생성합니다. PAW 프로그램을 실행하는 0.6B Qwen3 인터프리터는 Qwen3-32B를 직접 프롬프팅(prompting)하는 것과 대등한 성능을 보이면서도, 추론 메모리는 약 50분의 1만 사용하며 MacBook M3에서 초당 30토큰(30 tokens/s)의 속도로 실행됩니다. PAW는 파운데이션 모델(foundation model)을 입력당 문제를 해결하는 해결사에서 도구 제작자(tool builder)로 재정의합니다. 함수 정의당 한 번 호출되면, 이후 함수 적용 시마다 저렴하고 오프라인으로 호출 가능한 작고 재사용 가능한 아티팩트를 생성합니다.