DeepSeek-AI가 MoE의 희소성 개념을 한 단계 발전시킨 '조건부 메모리' 기반의 Engram 아키텍처를 공개했다.

MoE가 신경망 연산을 선택적으로 수행하는 데 집중한다면, Engram은 고전적인 N-gram 임베딩 개념을 현대화하여 지식 조회 메커니즘을 내재화한 것이 특징이다. 덕분에 모델은 단순한 패턴 재구성에 연산 자원을 낭비하지 않고도 정적인 정보를 효율적으로 인출한다. 성능 테스트 결과는 놀라웠다. Engram-27B 모델은 코딩, 수학, 일반 추론 등 다양한 영역에서 기존 MoE 기반 모델을 앞질렀다.

연구진은 활성 신경망 처리와 정적 메모리 저장 사이의 최적의 균형을 찾는 'U자형 스케일링 법칙'을 발견. 기초 사실 정보를 Engram 모듈이 담당하게 함으로써, 모델의 깊은 층은 복잡한 논리적 과제에만 집중하게 된 결과다. 추론 능력의 깊이가 비약적으로 보존된 셈이다. 가장 실용적인 성과는 효율성에서 나타난다. 결정론적 주소 지정 방식을 채택한 이 모듈은 값비싼 특수 하드웨어가 아닌 일반 컴퓨터의 메인 메모리에 방대한 데이터를 저장할 수 있다.

이러한 설계 덕분에 추론 속도에 거의 영향을 주지 않으면서도 모델의 지식 베이스를 대폭 확장. 이는 확장 가능하고 자원 효율적인 AI 시스템을 향한 중대한 진전이라는 평가를 받고 있다.

DeepSeek-AI가 MoE의 희소성 개념을 한 단계 발전시킨 '조건부 메모리' 기반의 Engram 아키텍처를 공개했다.

MoE가 신경망 연산을 선택적으로 수행하는 데 집중한다면, Engram은 고전적인 N-gram 임베딩 개념을 현대화하여 지식 조회 메커니즘을 내재화한 것이 특징이다. 덕분에 모델은 단순한 패턴 재구성에 연산 자원을 낭비하지 않고도 정적인 정보를 효율적으로 인출한다. 성능 테스트 결과는 놀라웠다. Engram-27B 모델은 코딩, 수학, 일반 추론 등 다양한 영역에서 기존 MoE 기반 모델을 앞질렀다.

연구진은 활성 신경망 처리와 정적 메모리 저장 사이의 최적의 균형을 찾는 'U자형 스케일링 법칙'을 발견. 기초 사실 정보를 Engram 모듈이 담당하게 함으로써, 모델의 깊은 층은 복잡한 논리적 과제에만 집중하게 된 결과다. 추론 능력의 깊이가 비약적으로 보존된 셈이다. 가장 실용적인 성과는 효율성에서 나타난다. 결정론적 주소 지정 방식을 채택한 이 모듈은 값비싼 특수 하드웨어가 아닌 일반 컴퓨터의 메인 메모리에 방대한 데이터를 저장할 수 있다.

이러한 설계 덕분에 추론 속도에 거의 영향을 주지 않으면서도 모델의 지식 베이스를 대폭 확장. 이는 확장 가능하고 자원 효율적인 AI 시스템을 향한 중대한 진전이라는 평가를 받고 있다.