AI 반도체 경쟁, 연산에서 메모리 중심 설계로 이동

라자 쿠드리(Raja Koduri) OXMIQ Labs CEO가 참여한 SK하이닉스 'AI 생태계' 시리즈 4편은 AI 연산의 무게중심이 연산 장치에서 데이터 공급과 메모리로 이동하고 있다고 설명했습니다. 이 시리즈는 AI를 모델이나 알고리즘이 아니라 소프트웨어, 데이터센터 인프라, 반도체와 메모리 기술이 맞물린 하나의 생태계로 보고 있습니다. 추론과 에이전틱 AI 중심으로 워크로드가 고도화되면서 성능 기준도 바뀌고 있다고 밝혔습니다. 이제는 연산 능력뿐 아니라 데이터를 어디에 저장하고 얼마나 빠르게 이동시키며 얼마나 효율적으로 처리하느냐가 AI 시스템의 성능과 비용을 좌우합니다.

글은 무어의 법칙에 따라 AI 가속기는 페타플롭스(Petaflops)급 성능에 도달했지만, 연산 장치에 데이터를 공급하는 대역폭은 그 속도를 따라가지 못했다고 지적합니다. 곱셈과 덧셈 연산에는 몇 펨토줄(fJ) 수준의 에너지만 드는 반면, 온칩 S램에서 데이터를 읽는 데는 더 많은 에너지가 들고 오프칩 D램에서 가져오면 비용이 수백에서 수천 배까지 커질 수 있습니다. 이에 따라 성능 병목은 데이터 공급 쪽으로 이동하고 있으며, 대규모 학습과 큰 배치 추론에서는 연산 자원이, 저지연·소규모 배치 추론에서는 메모리 대역폭이 성능을 제한한다고 설명합니다.

트랜스포머 구조는 방대한 파라미터와 긴 문맥을 처리하면서 캐시 재사용 전제를 흔들고 있습니다. 모델 가중치가 칩 안에 모두 들어가기 어렵고, 재사용성이 낮아져 시스템이 D램이나 HBM에서 데이터를 반복해서 읽어야 합니다. KV 캐시는 문맥 길이에 비례해 커지고, 긴 문맥을 다루는 에이전트가 대규모로 동시에 작동하면 기존 DDR·GDDR 중심 구조로는 데이터 흐름을 감당하기 어렵다고 글은 설명합니다. 플래시 어텐션, 페이지드 어텐션, 추측 디코딩 같은 최적화 기법도 메모리 접근량과 데이터 이동을 줄이기 위해 나왔지만 물리적 데이터 이동 비용을 없애지는 못한다고 덧붙였습니다.

HBM(High Bandwidth Memory)은 이 문제에 대응한 구조적 해법으로, 여러 D램 다이를 수직 적층하고 TSV와 인터포저로 연산 장치와 연결해 거리를 센티미터 단위에서 밀리미터 단위로 줄입니다. 글에 따르면 필자는 AMD에서 2015년 HBM을 적용한 GPU 개발에 참여했고, 인텔에서는 47개의 칩렛과 4개의 HBM2e 스택을 하나의 패키지에 통합한 Ponte Vecchio 개발을 이끌었습니다. 다만 HBM 대역폭은 인터페이스 면적, 신호 전송 속도, 전력 공급, 열 설계의 제약을 받으며, 세대가 올라갈수록 단순히 대역폭을 더하는 방식만으로는 성능 향상을 잇기 어렵다고 합니다.

첨단 패키징은 이제 후공정 조립이 아니라 연산 다이, 메모리 스택, 인터커넥트, 전력 공급, 방열 경로를 함께 설계하는 시스템 아키텍처의 일부가 됐습니다. 2.5D·3D 통합, 칩렛, 인터포저, 하이브리드 본딩은 모두 데이터와 연산 사이의 물리적 거리를 줄이기 위한 접근입니다. 하이브리드 본딩은 마이크로범프 대신 구리-구리를 직접 접합해 같은 면적에서 더 많은 연결과 넓은 데이터 통로를 만들고 비트당 에너지 소비를 낮춥니다. 글은 PCB 공진, 마이크로범프 피로, 열 간섭 같은 세부 문제가 성능과 신뢰성을 좌우하므로 메모리 중심 설계에서 이를 정교하게 반영하는 것이 중요하다고 강조합니다.

PIM(Processing-in-Memory)은 데이터를 연산 장치로 옮기는 대신 메모리 내부나 인근에서 일부 연산을 수행합니다. 글은 PIM이 CPU나 GPU를 대체하기보다 데이터 이동 비용이 연산 비용보다 큰 작업에서 기존 가속기를 보완하는 데 적합하다고 봅니다. 대규모 텐서에 단순 연산을 반복하는 경우 워크로드에 따라 에너지 소비를 10~100배까지 줄일 수 있다고 설명합니다. 다만 연산 기능을 메모리 스택 안으로 가져오면 온도에 민감한 D램 인근의 방열이 까다로운 과제가 되며, 메모리·연산·패키징·열 설계·소프트웨어를 함께 조율하는 시스템 차원의 접근이 필요하다고 합니다.

글은 AI 반도체 경쟁의 기준이 개별 연산 다이에서 패키지와 시스템 전체로 넓어졌다고 정리합니다. CPU 시대가 프로세서 성능 경쟁, GPU 시대가 대규모 병렬 처리 경쟁이었다면, AI 시대에는 연산·메모리·패키징·인터커넥트·소프트웨어를 하나의 시스템으로 묶고 불필요한 데이터 이동을 줄이는 설계가 경쟁력을 가른다고 봅니다. 필자는 확보한 연산 능력을 얼마나 효율적으로 쓸 수 있는지가 더 큰 과제이며, 데이터를 연산 가까이 두고, 이동을 줄이고, 같은 데이터에서 더 많은 연산 가치를 끌어내는 설계가 차이를 만든다고 결론짓습니다. 다음 편에서는 이 흐름이 피지컬 AI와 온디바이스 AI로 어떻게 이어지는지 다룰 예정입니다.

라자 쿠드리(Raja Koduri) OXMIQ Labs CEO가 참여한 SK하이닉스 'AI 생태계' 시리즈 4편은 AI 연산의 무게중심이 연산 장치에서 데이터 공급과 메모리로 이동하고 있다고 설명했습니다. 이 시리즈는 AI를 모델이나 알고리즘이 아니라 소프트웨어, 데이터센터 인프라, 반도체와 메모리 기술이 맞물린 하나의 생태계로 보고 있습니다. 추론과 에이전틱 AI 중심으로 워크로드가 고도화되면서 성능 기준도 바뀌고 있다고 밝혔습니다. 이제는 연산 능력뿐 아니라 데이터를 어디에 저장하고 얼마나 빠르게 이동시키며 얼마나 효율적으로 처리하느냐가 AI 시스템의 성능과 비용을 좌우합니다.

글은 무어의 법칙에 따라 AI 가속기는 페타플롭스(Petaflops)급 성능에 도달했지만, 연산 장치에 데이터를 공급하는 대역폭은 그 속도를 따라가지 못했다고 지적합니다. 곱셈과 덧셈 연산에는 몇 펨토줄(fJ) 수준의 에너지만 드는 반면, 온칩 S램에서 데이터를 읽는 데는 더 많은 에너지가 들고 오프칩 D램에서 가져오면 비용이 수백에서 수천 배까지 커질 수 있습니다. 이에 따라 성능 병목은 데이터 공급 쪽으로 이동하고 있으며, 대규모 학습과 큰 배치 추론에서는 연산 자원이, 저지연·소규모 배치 추론에서는 메모리 대역폭이 성능을 제한한다고 설명합니다.

트랜스포머 구조는 방대한 파라미터와 긴 문맥을 처리하면서 캐시 재사용 전제를 흔들고 있습니다. 모델 가중치가 칩 안에 모두 들어가기 어렵고, 재사용성이 낮아져 시스템이 D램이나 HBM에서 데이터를 반복해서 읽어야 합니다. KV 캐시는 문맥 길이에 비례해 커지고, 긴 문맥을 다루는 에이전트가 대규모로 동시에 작동하면 기존 DDR·GDDR 중심 구조로는 데이터 흐름을 감당하기 어렵다고 글은 설명합니다. 플래시 어텐션, 페이지드 어텐션, 추측 디코딩 같은 최적화 기법도 메모리 접근량과 데이터 이동을 줄이기 위해 나왔지만 물리적 데이터 이동 비용을 없애지는 못한다고 덧붙였습니다.

HBM(High Bandwidth Memory)은 이 문제에 대응한 구조적 해법으로, 여러 D램 다이를 수직 적층하고 TSV와 인터포저로 연산 장치와 연결해 거리를 센티미터 단위에서 밀리미터 단위로 줄입니다. 글에 따르면 필자는 AMD에서 2015년 HBM을 적용한 GPU 개발에 참여했고, 인텔에서는 47개의 칩렛과 4개의 HBM2e 스택을 하나의 패키지에 통합한 Ponte Vecchio 개발을 이끌었습니다. 다만 HBM 대역폭은 인터페이스 면적, 신호 전송 속도, 전력 공급, 열 설계의 제약을 받으며, 세대가 올라갈수록 단순히 대역폭을 더하는 방식만으로는 성능 향상을 잇기 어렵다고 합니다.

첨단 패키징은 이제 후공정 조립이 아니라 연산 다이, 메모리 스택, 인터커넥트, 전력 공급, 방열 경로를 함께 설계하는 시스템 아키텍처의 일부가 됐습니다. 2.5D·3D 통합, 칩렛, 인터포저, 하이브리드 본딩은 모두 데이터와 연산 사이의 물리적 거리를 줄이기 위한 접근입니다. 하이브리드 본딩은 마이크로범프 대신 구리-구리를 직접 접합해 같은 면적에서 더 많은 연결과 넓은 데이터 통로를 만들고 비트당 에너지 소비를 낮춥니다. 글은 PCB 공진, 마이크로범프 피로, 열 간섭 같은 세부 문제가 성능과 신뢰성을 좌우하므로 메모리 중심 설계에서 이를 정교하게 반영하는 것이 중요하다고 강조합니다.

PIM(Processing-in-Memory)은 데이터를 연산 장치로 옮기는 대신 메모리 내부나 인근에서 일부 연산을 수행합니다. 글은 PIM이 CPU나 GPU를 대체하기보다 데이터 이동 비용이 연산 비용보다 큰 작업에서 기존 가속기를 보완하는 데 적합하다고 봅니다. 대규모 텐서에 단순 연산을 반복하는 경우 워크로드에 따라 에너지 소비를 10~100배까지 줄일 수 있다고 설명합니다. 다만 연산 기능을 메모리 스택 안으로 가져오면 온도에 민감한 D램 인근의 방열이 까다로운 과제가 되며, 메모리·연산·패키징·열 설계·소프트웨어를 함께 조율하는 시스템 차원의 접근이 필요하다고 합니다.

글은 AI 반도체 경쟁의 기준이 개별 연산 다이에서 패키지와 시스템 전체로 넓어졌다고 정리합니다. CPU 시대가 프로세서 성능 경쟁, GPU 시대가 대규모 병렬 처리 경쟁이었다면, AI 시대에는 연산·메모리·패키징·인터커넥트·소프트웨어를 하나의 시스템으로 묶고 불필요한 데이터 이동을 줄이는 설계가 경쟁력을 가른다고 봅니다. 필자는 확보한 연산 능력을 얼마나 효율적으로 쓸 수 있는지가 더 큰 과제이며, 데이터를 연산 가까이 두고, 이동을 줄이고, 같은 데이터에서 더 많은 연산 가치를 끌어내는 설계가 차이를 만든다고 결론짓습니다. 다음 편에서는 이 흐름이 피지컬 AI와 온디바이스 AI로 어떻게 이어지는지 다룰 예정입니다.