피지컬 AI 확장에 맞춘 메모리 중심 설계

피지컬 AI 확장에 맞춘 메모리 중심 설계
2026년 11월 17일 화요일
  • •SK하이닉스 AI Ecosystem 5편, 김남승 교수와 피지컬 AI의 메모리 설계 조명
  • •로봇·차량·웨어러블의 전력·발열·지연 제약, 현장 가까운 데이터 처리 필요
  • •HBM·PIM·CXL·HBF 등 메모리 계층을 워크로드에 맞춰 조합하는 설계 방향

SK하이닉스의 AI Ecosystem 시리즈 5편은 김남승 일리노이대학교 어배너-섐페인(UIUC) 석좌교수의 설명을 통해 AI가 데이터센터를 넘어 로봇, 차량, 산업용 드론, 스마트 글라스, 웨어러블 기기로 확장될 때 메모리와 시스템 설계를 함께 바꿔야 한다고 전합니다. 이 외부 전문가 칼럼은 SK하이닉스의 공식 입장과 다를 수 있습니다.

피지컬 AI(현실 세계와 상호작용하는 AI)는 전력, 발열, 응답시간, 제품 크기의 제약을 받습니다. 스마트 글라스는 시야 안의 정보를 빠르게 해석하고, 로봇은 주변 환경을 인식해 거의 실시간으로 움직임을 조정해야 합니다. 차량과 산업용 드론도 연결이 끊기거나 응답이 늦어질 때 스스로 판단해야 하므로 모든 처리를 데이터센터에 맡기기 어렵습니다. 현장 가까이에서 데이터를 처리하고 판단을 마치는 구조가 적합합니다.

하이퍼스케일 데이터센터는 대규모 GPU 클러스터와 넓은 보드 공간, 막대한 전력, 대형 냉각 시스템을 활용할 수 있습니다. 반면 엣지와 모바일 기기는 배터리 용량, 발열, 패키지 크기, 배선 구조가 설계 조건이며, 대규모 GPU 클러스터나 확장형 표준 메모리 모듈을 쓰기 어렵습니다. 사용할 에너지와 열을 처리할 공간도 제한됩니다. 네트워크 왕복 시간이 길거나 연결이 불안정하면 판단과 시스템 신뢰성이 영향을 받기 때문에 메모리 용량, 데이터 경로, 지연시간을 먼저 고려해야 합니다.

이런 제약은 모델 경량화와 양자화(데이터를 더 적은 비트로 표현하는 기법) 같은 알고리즘 선택에도 반영됩니다. 양자화는 모델 파라미터를 더 적은 비트로 표현해 저장 공간과 데이터 전송 부담을 줄입니다. 터보퀀트는 추론 중 KV 캐시를 낮은 비트로 압축해 메모리 사용량을 낮추면서 응답 품질을 유지하는 데 초점을 둔 기법입니다. 엔그램은 자주 쓰는 패턴과 정보를 조건부 메모리 조회 테이블에 저장하고 입력에 맞는 정보를 불러와, 신경망 계층을 통한 반복 계산 일부를 메모리 조회로 바꿉니다. 연산 부담은 줄일 수 있지만 저장 정보와 읽을 데이터가 늘어 메모리 용량과 데이터 공급 능력이 처리 속도와 효율의 제약이 됩니다. 두 기술은 서로 다른 방식으로 연산과 메모리의 균형을 조정하며, 소프트웨어 최적화만으로 실제 성능을 끌어올리는 데는 한계가 있다고 칼럼은 설명합니다.

메모리 중심 설계에는 커스텀 HBM, 3D 적층 D램, 커스텀 D램, PIM, CXL, HBF, SSD가 포함됩니다. 커스텀 HBM과 커스텀 D램은 워크로드와 시스템 조건에 맞춰 용량, 대역폭, 전력, 패키지 특성을 조정합니다. HBM은 여러 D램 다이를 수직으로 쌓고 넓은 인터페이스로 연결해 같은 면적에서 높은 대역폭을 확보합니다. 3D 적층 D램은 D램을 로직 반도체 위에 쌓아 데이터 이동 거리를 줄이고 통로를 넓힙니다. PIM은 반복적인 데이터 접근이 많은 작업의 일부를 메모리 내부나 가까운 곳에서 처리해 데이터 이동에 따른 에너지와 지연을 줄입니다.

기기 내부 메모리만으로 용량을 확보하기 어려울 때 CXL은 프로세서, 가속기, 메모리를 고속으로 연결해 메모리 자원을 확장하고 공유하도록 돕습니다. 로봇 센서 로그와 자율주행 지도 데이터처럼 큰 데이터는 3D 낸드 기반 SSD에 저장했다가 필요할 때 D램이나 HBM으로 불러옵니다. 추론 중 자주 쓰는 대용량 모델 가중치에는 더 높은 대역폭이 필요하며, HBF는 3D 낸드 다이와 넓은 인터페이스를 사용해 낸드의 큰 용량과 높은 전송 속도를 함께 제공하는 메모리 계층으로 제시됩니다. HBF는 HBM과 SSD 사이의 계층으로 논의되고 있으며, 베이스 다이에 로직 공정을 적용해 HBM보다 훨씬 큰 용량과 유사한 대역폭, 비용 효율을 확보하는 데 초점을 둡니다.

칼럼은 HBM·3D 적층 D램·PIM이 연산 가까운 메모리를, CXL이 유연한 연결을, SSD와 HBF가 대용량 저장과 공급을 맡는다고 설명합니다. AI 시스템은 대규모 학습·추론에 고대역폭과 고용량을, 작은 온디바이스 기기에는 에너지 효율과 낮은 지연시간을 요구합니다. 따라서 워크로드와 제품 형태에 맞춰 메모리 계층을 조합해야 합니다. SK하이닉스는 HBM, D램, 3D 적층 D램, 커스텀 메모리, SSD, HBF, CXL, PIM을 아우르는 풀스택 AI 메모리 설루션과 고객 아키텍처·워크로드에 맞는 메모리 라이브러리를 지향한다고 밝혔습니다. 고객 제품 공급에 그치지 않고 메모리 조합을 공동 설계하는 아키텍처 파트너 역할도 제시했습니다.

AIB 뉴스레터를 구독하세요

가장 빠르고 정확한 AI 소식, 이메일로 받아보세요

카톡 문의