이 기사의 핵심 내용은?

PrismML이 8B 파라미터 기반의 1-bit LLM 'Bonsai-8B' 발표 1.15GB의 가벼운 모델 용량으로 스마트폰 및 엣지 디바이스 구동 구현 후처리 방식이 아닌 설계 단계부터 1-bit를 적용해 모델 정밀도 유지

단 1.15GB로 구동되는 80억 파라미터 '1-bit LLM' 등장

•PrismML이 8B 파라미터 기반의 1-bit LLM 'Bonsai-8B' 발표
•1.15GB의 가벼운 모델 용량으로 스마트폰 및 엣지 디바이스 구동 구현
•후처리 방식이 아닌 설계 단계부터 1-bit를 적용해 모델 정밀도 유지

캘리포니아 공과대학교(Caltech)에서 출발한 스타트업 PrismML이 AI 업계의 통념을 깨는 도전을 시작했다. 이번에 공개된 '1-bit Bonsai'는 현대 LLM의 표준 규모인 약 80억(8B) 파라미터를 갖췄음에도, 메모리 사용량을 단 1.15GB로 획기적으로 줄이는 데 성공했다. 일반적으로 이 정도 규모의 모델을 구동하려면 수십 GB의 메모리가 필요해 일반 사용자 기기에서는 실행이 어려웠으나, 이번 혁신으로 강력한 AI 성능을 개인용 기기에서 누릴 수 있는 시대가 한층 가까워졌다.

이 모델의 핵심은 독자적인 설계 철학에 있다. 기존 경량화 기술은 이미 학습된 거대 모델을 뒤늦게 압축하는 양자화 방식을 주로 사용하는데, 이는 필연적으로 성능 저하를 동반한다. 반면 PrismML은 입력층부터 생성 헤드까지 모든 레이어를 처음부터 1-bit로 학습시키는 야심 찬 접근 방식을 택했다. 후속 압축이 아닌, 설계 초기부터 정보 밀도를 최적화함으로써 높은 성능을 유지할 수 있었다.

특히 PrismML이 제안한 '지능 밀도(Intelligence Density)'라는 개념은 향후 AI 평가의 새로운 이정표가 될 전망이다. 이는 모델 크기 대비 오류율을 계산하여 단위 용량당 얼마나 많은 지능을 제공하는지 수치화한 지표다. 1-bit Bonsai 8B는 이 평가에서 기존 모델들을 압도하는 성과를 보이며, 무조건적인 대형화 경쟁에서 벗어나 에너지와 메모리 효율을 중시하는 실용적 AI로의 패러다임 전환을 시사한다.

이번 모델의 가중치는 Apache 2.0 라이선스로 공개되었으며, Apple의 MLX나 NVIDIA 환경의 llama.cpp 등 주요 실행 환경을 폭넓게 지원한다. 개발자와 연구자들은 이제 기기 내에서 고성능 AI를 손쉽게 구동할 수 있게 되었다. 클라우드 연결 없이도 프라이버시를 보호하며 즉각적인 추론이 가능한 엣지 AI 시대는 더 이상 연구실만의 이야기가 아니다.

공동 창업자인 바바크 하ッシ비(Babak Hassibi)는 AI의 미래가 단순히 모델 크기에 의해 결정되지 않는다고 강조한다. 컴퓨팅 자원과 메모리, 그리고 에너지라는 제약 속에서 어떻게 최대의 효율을 끌어낼 것인가라는 질문에 '1-bit 설계'가 해답을 제시한다. 이는 기존 AI 개발 방식에 대한 강력한 반론이자, 향후 스마트폰과 IoT 기기의 지능을 비약적으로 높일 새로운 출발점이 될 것으로 보인다.

캘리포니아 공과대학교(Caltech)에서 출발한 스타트업 PrismML이 AI 업계의 통념을 깨는 도전을 시작했다. 이번에 공개된 '1-bit Bonsai'는 현대 LLM의 표준 규모인 약 80억(8B) 파라미터를 갖췄음에도, 메모리 사용량을 단 1.15GB로 획기적으로 줄이는 데 성공했다. 일반적으로 이 정도 규모의 모델을 구동하려면 수십 GB의 메모리가 필요해 일반 사용자 기기에서는 실행이 어려웠으나, 이번 혁신으로 강력한 AI 성능을 개인용 기기에서 누릴 수 있는 시대가 한층 가까워졌다.

이 모델의 핵심은 독자적인 설계 철학에 있다. 기존 경량화 기술은 이미 학습된 거대 모델을 뒤늦게 압축하는 양자화 방식을 주로 사용하는데, 이는 필연적으로 성능 저하를 동반한다. 반면 PrismML은 입력층부터 생성 헤드까지 모든 레이어를 처음부터 1-bit로 학습시키는 야심 찬 접근 방식을 택했다. 후속 압축이 아닌, 설계 초기부터 정보 밀도를 최적화함으로써 높은 성능을 유지할 수 있었다.

특히 PrismML이 제안한 '지능 밀도(Intelligence Density)'라는 개념은 향후 AI 평가의 새로운 이정표가 될 전망이다. 이는 모델 크기 대비 오류율을 계산하여 단위 용량당 얼마나 많은 지능을 제공하는지 수치화한 지표다. 1-bit Bonsai 8B는 이 평가에서 기존 모델들을 압도하는 성과를 보이며, 무조건적인 대형화 경쟁에서 벗어나 에너지와 메모리 효율을 중시하는 실용적 AI로의 패러다임 전환을 시사한다.

이번 모델의 가중치는 Apache 2.0 라이선스로 공개되었으며, Apple의 MLX나 NVIDIA 환경의 llama.cpp 등 주요 실행 환경을 폭넓게 지원한다. 개발자와 연구자들은 이제 기기 내에서 고성능 AI를 손쉽게 구동할 수 있게 되었다. 클라우드 연결 없이도 프라이버시를 보호하며 즉각적인 추론이 가능한 엣지 AI 시대는 더 이상 연구실만의 이야기가 아니다.

공동 창업자인 바바크 하ッシ비(Babak Hassibi)는 AI의 미래가 단순히 모델 크기에 의해 결정되지 않는다고 강조한다. 컴퓨팅 자원과 메모리, 그리고 에너지라는 제약 속에서 어떻게 최대의 효율을 끌어낼 것인가라는 질문에 '1-bit 설계'가 해답을 제시한다. 이는 기존 AI 개발 방식에 대한 강력한 반론이자, 향후 스마트폰과 IoT 기기의 지능을 비약적으로 높일 새로운 출발점이 될 것으로 보인다.