노르웨이 국립도서관이 자국 언어에 특화된 LLM을 구축하며, AI 학습 데이터 파이프라인 관리를 위해 2 PB 규모의 Huawei OceanStor Dorado 올플래시 스토리지를 도입했다. IT 플랫폼 책임자인 Marius Husnes는 글로벌 모델들이 영어를 중심으로 학습되어 자국의 역사와 뉴스, 문화적 맥락을 충분히 반영하지 못하는 한계를 극복하겠다고 밝혔다. 도서관은 2005년부터 수집해 온 20 PB 규모의 고유 데이터를 보유하고 있으며, 3-2-1 보존 체계를 통해 총 60 PB의 데이터를 관리 중이다.

이번 프로젝트는 단순한 컴퓨팅 파워 확보보다 데이터 품질 제고와 파이프라인 처리량 최적화에 초점을 맞췄다. 작업 흐름은 384코어 CPU와 Huawei 스토리지로 구성된 Nvidia DGX H200 시스템의 내부 처리 단계와, 이후 노르웨이 국가 슈퍼컴퓨터인 Sigma2 Olivia에서 진행되는 모델 학습 단계로 나뉜다. HPE Cray Supercomputing EX 기반인 Olivia는 448개의 GPU, 64,512개의 CPU 코어, 5.3 PB의 Cray ClusterStor E1000 스토리지를 갖췄다.

Marius Husnes는 장기 보존용 아카이브 시스템의 높은 지연 시간과 AI 학습에 필요한 고성능 데이터 처리 요구 사이의 간극을 좁히는 것이 가장 큰 기술적 과제라고 설명했다. 이에 따라 페타바이트급 데이터 세트를 시스템 간 효율적으로 이동시키는 독자적인 마이그레이션 기법을 개발했다. 향후 과제로는 노르웨이의 다양한 방언과 고어를 반영한 평가 도구 개발, 모델 접근 권한 관리 체계 수립 등이 포함된다. 이번 사례는 자국 문화 유산을 반영한 AI 구축을 목표로 하는 비영어권 국가들에게 중요한 이정표가 될 전망이다.

노르웨이 국립도서관이 자국 언어에 특화된 LLM을 구축하며, AI 학습 데이터 파이프라인 관리를 위해 2 PB 규모의 Huawei OceanStor Dorado 올플래시 스토리지를 도입했다. IT 플랫폼 책임자인 Marius Husnes는 글로벌 모델들이 영어를 중심으로 학습되어 자국의 역사와 뉴스, 문화적 맥락을 충분히 반영하지 못하는 한계를 극복하겠다고 밝혔다. 도서관은 2005년부터 수집해 온 20 PB 규모의 고유 데이터를 보유하고 있으며, 3-2-1 보존 체계를 통해 총 60 PB의 데이터를 관리 중이다.

이번 프로젝트는 단순한 컴퓨팅 파워 확보보다 데이터 품질 제고와 파이프라인 처리량 최적화에 초점을 맞췄다. 작업 흐름은 384코어 CPU와 Huawei 스토리지로 구성된 Nvidia DGX H200 시스템의 내부 처리 단계와, 이후 노르웨이 국가 슈퍼컴퓨터인 Sigma2 Olivia에서 진행되는 모델 학습 단계로 나뉜다. HPE Cray Supercomputing EX 기반인 Olivia는 448개의 GPU, 64,512개의 CPU 코어, 5.3 PB의 Cray ClusterStor E1000 스토리지를 갖췄다.

Marius Husnes는 장기 보존용 아카이브 시스템의 높은 지연 시간과 AI 학습에 필요한 고성능 데이터 처리 요구 사이의 간극을 좁히는 것이 가장 큰 기술적 과제라고 설명했다. 이에 따라 페타바이트급 데이터 세트를 시스템 간 효율적으로 이동시키는 독자적인 마이그레이션 기법을 개발했다. 향후 과제로는 노르웨이의 다양한 방언과 고어를 반영한 평가 도구 개발, 모델 접근 권한 관리 체계 수립 등이 포함된다. 이번 사례는 자국 문화 유산을 반영한 AI 구축을 목표로 하는 비영어권 국가들에게 중요한 이정표가 될 전망이다.