엔비디아, 4GB 경량 에이전트 모델 공개

엔비디아는 23일(현지시간) 약 4GB 메모리에서 실행하도록 설계한 오픈소스 경량 언어모델 ‘네모트론 3.5 볼트 E4B 4GB’를 공개했습니다. 윈도우 PC와 엣지 컴퓨팅, 로봇 개발 환경에서 음성·비전 모델과 함께 구동할 수 있도록 메모리 사용량을 줄였으며, 게임과 로봇 분야 개발자가 성능과 메모리 사이의 균형을 맞추도록 설계됐습니다. 구글 젬마 4 E4B를 기반으로 엔비디아의 사후학습 기법을 적용했습니다. 지포스 RTX, 젯슨, RTX 스파크, DGX 스파크에서 실행할 수 있습니다.

주요 대화형 에이전트 벤치마크에서 이전 모델 네모트론 3 나노 4B보다 평균 점수가 약 40% 높았고, 비교 대상 모델보다 평균 약 10% 높았습니다. 추론 기능을 켠 비교에서는 출력 토큰 수를 최대 80% 줄였습니다. 엔비디아는 텍스트 생성을 줄이면 연산량과 비용이 낮아지고 응답 속도가 개선될 수 있다고 설명했습니다. 전체 평가에서 항상 앞선 것은 아닙니다. 21개 벤치마크 중 15개에서 경쟁 모델보다 높은 점수를 얻었지만, 일부 장기 문맥 처리와 도구 호출 평가에서는 큐원3.5-4B가 앞섰습니다. 타우2-벤치 점수는 볼트 55.1점, 큐원3.5-4B 75.1점이었습니다. 기사는 실제 적용 환경에 맞춘 성능 검증이 필요하다고 밝혔습니다.

벤치마크와 첫 토큰 생성 시간(TTFT)은 RTX 5090에서 6개 주요 에이전트 평가의 평균으로 측정했습니다. 로컬 모델에는 Q4_K_M 양자화를 적용했으며, 클라우드 모델과 성능·속도를 비교했습니다. 모델은 대화 중 API를 호출해 작업을 수행하고 여러 차례 대화를 이어갈 수 있으며, 비동기 도구 호출 가이드도 제공됩니다. 음성 인터페이스용 짧은 답변 모드와 요청 복잡도에 따라 켜고 끄는 추론 기능이 있고, 추론 시간과 분량을 제한해 지연 시간 요구에 맞출 수 있습니다.

컨텍스트 길이는 최대 6만4000토큰이며 대화 기록, 시스템 지침, 도구 정의, 검색 결과, 애플리케이션 상태를 함께 처리합니다. 지원 언어는 35개이고 기반 모델은 140개 이상의 언어로 사전 학습됐습니다. 활용 대상으로는 PC·모바일·스마트홈·차량 음성 비서, 대화와 행동을 결합하는 게임 NPC와 가상 동반자, 로봇·중장비 제어용 임베디드·산업 에이전트가 제시됐습니다. 엔비디아는 로컬 실행이 외부 서버 의존도를 줄여 메모리, 지연, 호환성, 운영 비용, 개인정보 보호 제약을 완화할 수 있다고 설명했습니다.

사후학습에는 검증 가능한 보상 기반 강화학습(RLVR)과 인간 피드백 기반 강화학습(RLHF)을 적용하고 네모-RL·네모-짐 프레임워크를 사용했습니다. 도구 호출, 지시 이행, 구조화된 출력, 다중 턴 대화를 학습했으며 추론·비추론 데이터를 2대1 비율로 구성했습니다. 학습 후 선택한 BF16 체크포인트를 Q4_K_M으로 양자화했고, 중요도 행렬 보정에는 약 100만 토큰의 강화학습 데이터를 썼습니다. 병렬 추론용 D플래시 초안 생성기도 공개했습니다. 한 번의 순전파로 후보 토큰 여러 개를 만들고 대상 모델이 병렬 검증하는 방식으로, 젬마 4 E4B의 기존 초안 생성기보다 처리량을 최대 21% 높일 수 있다고 엔비디아는 밝혔습니다. 모델은 허깅페이스, 올라마, LM 스튜디오, 언슬롯, 젯슨 AI 랩에서 이용할 수 있으며 인게임 추론 SDK로 게임 캐릭터에 적용할 수 있습니다.

엔비디아는 23일(현지시간) 약 4GB 메모리에서 실행하도록 설계한 오픈소스 경량 언어모델 ‘네모트론 3.5 볼트 E4B 4GB’를 공개했습니다. 윈도우 PC와 엣지 컴퓨팅, 로봇 개발 환경에서 음성·비전 모델과 함께 구동할 수 있도록 메모리 사용량을 줄였으며, 게임과 로봇 분야 개발자가 성능과 메모리 사이의 균형을 맞추도록 설계됐습니다. 구글 젬마 4 E4B를 기반으로 엔비디아의 사후학습 기법을 적용했습니다. 지포스 RTX, 젯슨, RTX 스파크, DGX 스파크에서 실행할 수 있습니다.

주요 대화형 에이전트 벤치마크에서 이전 모델 네모트론 3 나노 4B보다 평균 점수가 약 40% 높았고, 비교 대상 모델보다 평균 약 10% 높았습니다. 추론 기능을 켠 비교에서는 출력 토큰 수를 최대 80% 줄였습니다. 엔비디아는 텍스트 생성을 줄이면 연산량과 비용이 낮아지고 응답 속도가 개선될 수 있다고 설명했습니다. 전체 평가에서 항상 앞선 것은 아닙니다. 21개 벤치마크 중 15개에서 경쟁 모델보다 높은 점수를 얻었지만, 일부 장기 문맥 처리와 도구 호출 평가에서는 큐원3.5-4B가 앞섰습니다. 타우2-벤치 점수는 볼트 55.1점, 큐원3.5-4B 75.1점이었습니다. 기사는 실제 적용 환경에 맞춘 성능 검증이 필요하다고 밝혔습니다.

벤치마크와 첫 토큰 생성 시간(TTFT)은 RTX 5090에서 6개 주요 에이전트 평가의 평균으로 측정했습니다. 로컬 모델에는 Q4_K_M 양자화를 적용했으며, 클라우드 모델과 성능·속도를 비교했습니다. 모델은 대화 중 API를 호출해 작업을 수행하고 여러 차례 대화를 이어갈 수 있으며, 비동기 도구 호출 가이드도 제공됩니다. 음성 인터페이스용 짧은 답변 모드와 요청 복잡도에 따라 켜고 끄는 추론 기능이 있고, 추론 시간과 분량을 제한해 지연 시간 요구에 맞출 수 있습니다.

컨텍스트 길이는 최대 6만4000토큰이며 대화 기록, 시스템 지침, 도구 정의, 검색 결과, 애플리케이션 상태를 함께 처리합니다. 지원 언어는 35개이고 기반 모델은 140개 이상의 언어로 사전 학습됐습니다. 활용 대상으로는 PC·모바일·스마트홈·차량 음성 비서, 대화와 행동을 결합하는 게임 NPC와 가상 동반자, 로봇·중장비 제어용 임베디드·산업 에이전트가 제시됐습니다. 엔비디아는 로컬 실행이 외부 서버 의존도를 줄여 메모리, 지연, 호환성, 운영 비용, 개인정보 보호 제약을 완화할 수 있다고 설명했습니다.

사후학습에는 검증 가능한 보상 기반 강화학습(RLVR)과 인간 피드백 기반 강화학습(RLHF)을 적용하고 네모-RL·네모-짐 프레임워크를 사용했습니다. 도구 호출, 지시 이행, 구조화된 출력, 다중 턴 대화를 학습했으며 추론·비추론 데이터를 2대1 비율로 구성했습니다. 학습 후 선택한 BF16 체크포인트를 Q4_K_M으로 양자화했고, 중요도 행렬 보정에는 약 100만 토큰의 강화학습 데이터를 썼습니다. 병렬 추론용 D플래시 초안 생성기도 공개했습니다. 한 번의 순전파로 후보 토큰 여러 개를 만들고 대상 모델이 병렬 검증하는 방식으로, 젬마 4 E4B의 기존 초안 생성기보다 처리량을 최대 21% 높일 수 있다고 엔비디아는 밝혔습니다. 모델은 허깅페이스, 올라마, LM 스튜디오, 언슬롯, 젯슨 AI 랩에서 이용할 수 있으며 인게임 추론 SDK로 게임 캐릭터에 적용할 수 있습니다.