뉴타닉스는 13일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘넥스트 온 투어 2026 서울’ 컨퍼런스에서 AI 인프라 비용과 운영 복잡성을 줄이는 방안을 발표했습니다. 맨디 달리왈 최고마케팅책임자(CMO)는 공급업체의 과금 모델 변경 뒤 토큰 비용이 하룻밤 사이 350% 폭등해 예산에 없던 수백만 달러를 추가로 지출해야 했던 사례를 전했습니다. 폴 하브 솔루션 및 성능 엔지니어링 부사장은 LLM이 많은 토큰을 사용하며, 모든 연산을 LLM에 맡기면 소비량과 운영비를 통제하기 어렵다고 설명했습니다.

뉴타닉스는 비용 급증을 겪은 뒤 내부 AI 운영 모델을 하이브리드 방식으로 전면 개편했습니다. AMD와 엔비디아에서 GPU를 직접 구매하고 자체 솔루션을 재설계해, 운영비 지출에 의존하던 구조에서 자본적 지출(CapEx)을 바탕으로 인프라를 직접 확보하고 통제권을 강화하는 방식으로 옮겼다고 달리왈 CMO는 밝혔습니다. 회사는 이 전환으로 기존 운영 방식보다 비용을 50% 절감했으며, 업무 특성과 목적에 맞춘 AI를 운영하고 있다고 설명했습니다.

하브 부사장은 서버·GPU·네트워크·스토리지를 포함한 물리적 인프라 위에 오픈소스 모델과 폐쇄형 모델을 함께 배치하고, 각 모델을 효율적으로 구동할 시스템을 갖추는 AI 팩토리 아키텍처를 소개했습니다. 이 구조에서는 LLM이 사용자의 질문을 이해하고 추론하며, 이메일 검색이나 데이터베이스 조회 같은 구체적 작업은 에이전트가 수행합니다. 뉴타닉스는 이 역할 분리로 단순 작업에 쓰이는 불필요한 연산과 토큰 소비를 줄이고, ‘에이전트 게이트웨이’를 통해 토큰 사용과 비용 통제력을 높이려 합니다.

달리왈 CMO는 지난 1년간 통제되지 않는 AI 에이전트와 보안 위협이 부각됐고 서버 가격은 5배 올랐으며 메모리 부족도 기업의 사업 추진 부담을 키웠다고 말했습니다. 그는 가상화 도입 초기에는 스토리지·네트워크·컴퓨팅 자원이 분리됐고, 클라우드 확산 뒤에는 온프레미스 시스템·데이터센터·클라우드 조직이 나뉘어 관리가 어려워졌다고 설명했습니다. 쿠버네티스 환경에서도 플랫폼 엔지니어링 조직과 실행 환경, 운영 도구가 더해져 복잡성이 커졌다고 덧붙였습니다.

현재 기업에는 온프레미스, 클라우드, 쿠버네티스 기반 앱과 복잡한 AI 워크로드가 함께 존재합니다. 달리왈 CMO는 CPU·GPU 기반 AI 연산뿐 아니라 양자컴퓨팅, 물리적 AI, 로봇도 현장에 도입되고 있지만, 이를 관리할 거버넌스와 자원 사용량을 파악할 가시성이 부족해 비용 통제가 어렵다고 말했습니다. 뉴타닉스는 분산된 인프라를 단일 플랫폼으로 통합 관리하고, 설계 단계부터 지능형 구조와 특정 벤더에 종속되지 않는 개방형 환경, 데이터 보호 체계를 갖춰 비용과 복잡성을 줄여야 한다고 강조했습니다.

뉴타닉스는 13일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘넥스트 온 투어 2026 서울’ 컨퍼런스에서 AI 인프라 비용과 운영 복잡성을 줄이는 방안을 발표했습니다. 맨디 달리왈 최고마케팅책임자(CMO)는 공급업체의 과금 모델 변경 뒤 토큰 비용이 하룻밤 사이 350% 폭등해 예산에 없던 수백만 달러를 추가로 지출해야 했던 사례를 전했습니다. 폴 하브 솔루션 및 성능 엔지니어링 부사장은 LLM이 많은 토큰을 사용하며, 모든 연산을 LLM에 맡기면 소비량과 운영비를 통제하기 어렵다고 설명했습니다.

뉴타닉스는 비용 급증을 겪은 뒤 내부 AI 운영 모델을 하이브리드 방식으로 전면 개편했습니다. AMD와 엔비디아에서 GPU를 직접 구매하고 자체 솔루션을 재설계해, 운영비 지출에 의존하던 구조에서 자본적 지출(CapEx)을 바탕으로 인프라를 직접 확보하고 통제권을 강화하는 방식으로 옮겼다고 달리왈 CMO는 밝혔습니다. 회사는 이 전환으로 기존 운영 방식보다 비용을 50% 절감했으며, 업무 특성과 목적에 맞춘 AI를 운영하고 있다고 설명했습니다.

하브 부사장은 서버·GPU·네트워크·스토리지를 포함한 물리적 인프라 위에 오픈소스 모델과 폐쇄형 모델을 함께 배치하고, 각 모델을 효율적으로 구동할 시스템을 갖추는 AI 팩토리 아키텍처를 소개했습니다. 이 구조에서는 LLM이 사용자의 질문을 이해하고 추론하며, 이메일 검색이나 데이터베이스 조회 같은 구체적 작업은 에이전트가 수행합니다. 뉴타닉스는 이 역할 분리로 단순 작업에 쓰이는 불필요한 연산과 토큰 소비를 줄이고, ‘에이전트 게이트웨이’를 통해 토큰 사용과 비용 통제력을 높이려 합니다.

달리왈 CMO는 지난 1년간 통제되지 않는 AI 에이전트와 보안 위협이 부각됐고 서버 가격은 5배 올랐으며 메모리 부족도 기업의 사업 추진 부담을 키웠다고 말했습니다. 그는 가상화 도입 초기에는 스토리지·네트워크·컴퓨팅 자원이 분리됐고, 클라우드 확산 뒤에는 온프레미스 시스템·데이터센터·클라우드 조직이 나뉘어 관리가 어려워졌다고 설명했습니다. 쿠버네티스 환경에서도 플랫폼 엔지니어링 조직과 실행 환경, 운영 도구가 더해져 복잡성이 커졌다고 덧붙였습니다.

현재 기업에는 온프레미스, 클라우드, 쿠버네티스 기반 앱과 복잡한 AI 워크로드가 함께 존재합니다. 달리왈 CMO는 CPU·GPU 기반 AI 연산뿐 아니라 양자컴퓨팅, 물리적 AI, 로봇도 현장에 도입되고 있지만, 이를 관리할 거버넌스와 자원 사용량을 파악할 가시성이 부족해 비용 통제가 어렵다고 말했습니다. 뉴타닉스는 분산된 인프라를 단일 플랫폼으로 통합 관리하고, 설계 단계부터 지능형 구조와 특정 벤더에 종속되지 않는 개방형 환경, 데이터 보호 체계를 갖춰 비용과 복잡성을 줄여야 한다고 강조했습니다.