TIDE: 거대 AI 모델의 효율적 경량화 기술
- •연구진이 확산 모델 및 거대 언어 모델을 위한 새로운 교차 구조 증류 프레임워크인 TIDE를 발표했다.
- •TIDE는 표준 16B 파라미터 모델 대비 메모리 압축률 22배, 추론 속도 5.2배 향상을 달성했다.
- •이 방식은 HumanEval 코드 생성 과제에서 48.78점을 기록하며 성능을 크게 개선했다.
인공지능의 급격한 발전은 흔히 성능과 효율성 사이의 딜레마를 낳는다. 대규모 모델은 뛰어난 지능을 갖췄지만, 실행과 배포에 막대한 비용이 소요되기 때문이다. 개인용 노트북부터 스마트폰까지 일상적인 기기에 고도화된 AI를 탑재하려면 지능은 유지하면서 크기와 전력 요구량을 획기적으로 줄여야 하는 도전 과제에 직면하게 된다.
베이징대학교 연구진이 발표한 TIDE는 이러한 난제를 해결할 대안으로, 복잡한 모델의 추론 능력을 유지하면서 크기를 줄이는 새로운 방법을 제시한다. 통상적으로 AI 압축은 소형 모델이 거대 '교사' 모델로부터 학습하는 과정을 거치는데, 기존에는 구조가 서로 비슷해야만 가능했다. TIDE는 이 제약을 허물고 교차 구조 증류 기법을 도입해, 구조와 주의 집중 메커니즘, 어휘 체계가 완전히 다른 모델 간에도 학습이 가능하도록 만들었다.
연구진은 이를 위해 세 가지 특화 모듈을 개발했다. 우선 TIDAL은 학생 모델이 학습 과정에서 수신하는 신호 강도를 조절하여 노이즈를 걸러내고 핵심 정보에 집중하게 돕는다. CompDemo는 문맥이 풍부한 정보를 제공하여 어려운 과제를 수행할 때 모델의 판단력을 보완한다. 마지막으로, 서로 다른 기술 언어인 토크나이저 간의 간극을 메우는 Reverse CALM 기술을 통해 구조적 차이에도 불구하고 교사의 지도를 정확히 해석하도록 설계했다.
연구 결과는 AI 성능의 민주화 측면에서 매우 고무적이다. 복잡한 16B 파라미터 모델을 0.6B 수준의 소형 모델로 증류하여 메모리 압축 22배, 추론 속도 5.2배라는 비약적인 성과를 거뒀기 때문이다. 이는 과거 저사양 하드웨어에서 실행 불가능했던 고성능 코딩 어시스턴트를 개인 기기에서도 원활하게 구동할 수 있음을 의미한다.
이번 성과는 단순한 이론적 연구를 넘어 실제 모델 효율성 분야의 진보를 보여준다. 연구진이 오픈소스 코드와 체크포인트를 공개함에 따라 개발자들은 누구나 자신만의 고속 모델 증류 파이프라인을 구축할 수 있게 됐다. AI가 로컬 환경에서 더 효율적으로 작동해야 하는 시대적 흐름 속에서, TIDE는 적은 컴퓨팅 자원으로 더 많은 가치를 창출하는 중요한 이정표가 될 전망이다.