연산 아닌 데이터 이동이 AI 성능 좌우하는 시대
- •AI 성능 병목이 GPU 연산량보다 데이터 이동 경로에 집중되는 패러다임 변화 발생
- •실시간 추론 시 발생하는 KV 캐시가 메모리 병목을 가중시켜 연산 장치 활용률 저하
- •소프트웨어 압축 한계 도달에 따라 HBM, CXL, PIM 등 시스템 구조 혁신이 AI 인프라 경쟁력 결정
AI 생태계에서 성능 경쟁의 기준이 연산 능력에서 데이터 처리 효율로 변화하고 있다. 추론 및 에이전틱 AI(Agentic AI)가 확산됨에 따라 시스템의 핵심 병목 현상이 GPU의 연산량 자체보다 데이터가 위치한 곳과 이동 경로에 집중되고 있기 때문이다. 대규모 모델이 긴 문맥을 유지하고 중간 결과를 반복 참조함에 따라 메모리와 연산 장치 사이의 데이터 왕복이 급증하며 시스템 효율을 떨어뜨리는 현상이 발생한다.
과거에는 더 많은 GPU와 거대 모델을 투입하는 연산 중심의 스케일링 공식이 AI 성능 향상을 견인했다. 그러나 실제 서비스 환경의 추론은 낮은 지연시간과 반복적인 데이터 접근을 요구한다. 이 과정에서 연산 장치가 데이터를 기다리는 시간이 길어지는 '메모리 월(Memory Wall)' 문제가 심화되고 있다. 1995년 윌리엄 울프(William A. Wulf)와 살리 매키(Sally A. McKee)가 경고했던 프로세서와 메모리 간 속도 격차가 오늘날 실시간 AI 서비스 환경에서 현실화된 것이다.
특히 LLM 추론 시 생성되는 'KV 캐시(KV Cache)'는 메모리 병목을 가속화하는 주요 원인이다. 모델이 생성하는 토큰이 늘어날수록 캐시 요구량도 비례하여 증가하며, 이는 GPU 구매만으로는 해결할 수 없는 구조적 문제로 자리 잡았다. 이에 따라 업계는 플래시 어텐션(Flash Attention)이나 데이터 양자화(Quantization) 같은 소프트웨어적 기법을 통해 효율을 높이고 있다. 최근 공개된 터보퀀트(TurboQuant)는 16비트 데이터를 3~4비트로 압축하여 메모리 사용량을 1/5 수준으로 줄이면서도 정확도를 유지하는 성과를 보였다.
다만 소프트웨어 최적화만으로는 하드웨어 구조적 한계를 완전히 극복하기 어렵다는 지적이 제기된다. 이를 해결하기 위해 HBM(고대역폭 메모리), CXL(메모리 공유 기술), PIM(메모리 내 연산 기능)과 같은 하드웨어 혁신이 대두되고 있다. 이는 데이터를 먼 곳에서 불러오는 대신 연산 장치 가까이에 배치하거나, 데이터가 머무는 자리에서 직접 연산을 처리하려는 방향이다. 결국 차세대 AI 인프라의 경쟁력은 칩 단일 성능이 아닌 GPU, 메모리, 인터커넥트, 패키징이 유기적으로 맞물린 시스템 전체의 설계 역량에 달려 있다.