컴퓨터 과학 > 머신러닝
제목: Program-as-Weights: Fuzzy Functions를 위한 프로그래밍 패러다임
PDF 보기 HTML (실험적)
요약:
일상적인 많은 프로그래밍 작업은 중요한 로그 라인에 대한 경고, 잘못된 JSON 복구, 의도에 따른 검색 결과 순위 지정 등과 같이 깨끗한 규칙 기반 구현이 어렵습니다. 이러한 작업들은 지역성(locality), 재현성(reproducibility), 비용 문제로 인해 대규모 언어 모델 API로 점점 더 아웃소싱되고 있습니다. 우리는 퍼지 함수 프로그래밍(fuzzy-function programming)을 제안합니다. 이는 자연어 명세로부터 작고, 로컬에서 실행 가능한 신경 아티팩트(neural artifact)로 그러한 함수를 컴파일하는 방식입니다. 우리는 이 패러다임을 Program-as-Weights (PAW)로 구현했습니다. PAW는 우리가 공개하는 10M 예제 데이터셋인 FuzzyBench를 통해 학습된 4B 컴파일러가 고정되고 가벼운 인터프리터(interpreter)를 위한 파라미터 효율적 어댑터(parameter-efficient adapters)를 방출하는 방식입니다. PAW 프로그램을 실행하는 0.6B Qwen3 인터프리터는 Qwen3-32B의 직접적인 프롬프팅 성능과 일치하면서도, 추론 메모리를 약 50분의 1만 사용하고 MacBook M3에서 초당 30 토큰(tokens/s)으로 실행됩니다. PAW는 파운데이션 모델을 입력별 문제 해결사에서 도구 구축사로 재정의합니다. 함수 정의당 한 번 호출되어 작고 재사용 가능한 아티팩트를 생성하며, 이 아티팩트가 함수 적용 시마다 호출되는 것은 저렴하고 오프라인으로 처리됩니다.
현재 브라우징 컨텍스트:
참고문헌 및 인용 도구
본 논문과 관련된 코드, 데이터 및 미디어
데모
추천 시스템 및 검색 도구
arXivLabs: 커뮤니티 협력자가 개발하는 실험적 프로젝트
arXivLabs는 협력자들이 우리 웹사이트에서 새로운 arXiv 기능을 개발하고 공유할 수 있게 해주는 프레임워크입니다.
arXivLabs를 사용하는 개인과 조직 모두 개방성, 커뮤니티, 우수성 및 사용자 데이터 개인 정보 보호라는 우리의 가치를 포용하고 받아들였습니다. arXiv는 이러한 가치에 전념하며 이를 준수하는 파트너와만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보기.