Program-as-Weights, 자연어를 신경망 프로그램으로 변환
HuggingFace
2026년 7월 4일 (토)
- •연구진이 자연어 사양을 소형 로컬 실행 신경망 아티팩트로 컴파일하는 Program-as-Weights를 개발했다.
- •PAW 어댑터를 사용한 0.6B Qwen3 인터프리터는 32B 모델의 성능을 1/50 메모리로 구현한다.
- •이 시스템은 MacBook M3에서 초당 30토큰 속도로 로컬 실행이 가능해 외부 API 의존도를 제거했다.
연구진은 자연어 사양을 소형 신경망 아티팩트로 컴파일해 로컬에서 실행하는 새로운 프로그래밍 패러다임인 Program-as-Weights(PAW)를 발표했다. 이는 로그 분석이나 데이터 순위 지정 등 대규모 언어 모델 API에 의존할 때 발생하는 지역성, 재현성, 고비용 문제를 해결하기 위한 시도다. PAW는 1,000만 개의 예시를 포함한 새로운 데이터셋인 FuzzyBench로 학습된 4B 컴파일러를 활용해 0.6B Qwen3 인터프리터용 파라미터 효율적 어댑터를 생성한다. 이 설정은 32B 모델에 직접 프롬프트를 입력하는 성능과 대등하면서도 추론 메모리는 약 50분의 1 수준으로 줄인다. 실제로 MacBook M3 환경에서 초당 30토큰의 추론 속도를 달성했다.
PAW는 모델을 입력값마다 문제를 해결하는 도구가 아닌, 도구 제작자로 재정의해 개발자가 컴파일러를 한 번만 호출하고 재사용 가능한 아티팩트를 만들 수 있게 지원한다. 이후 정의된 함수를 적용하는 과정은 로컬에서 저비용으로 실행된다. 이 시스템은 'Alien Taboo' 게임, 3D 아바타 디렉터, 웹사이트 콘텐츠 어시스턴트 등 다양한 사례를 지원한다. 사용자는 간단한 컴파일 명령어를 통해 파이썬 워크플로우에 기능을 통합할 수 있어 일상적인 함수 실행 시 외부 API 호출이 필요하지 않다. 또한 연구진은 코딩 에이전트용 통합 경로를 제공해 자동화 시스템이 표준 기술 관리 도구를 사용하여 이러한 신경망 프로그램을 생성, 컴파일, 배포할 수 있도록 설계했다.