AI 에이전트 시대, 늘어나는 토큰을 감당할 추론 인프라

11월 4일, 웨스틴 서울 파르나스에서 열린 AMD Advancing AI World Tour & AI DevDay Seoul에 참석했습니다.
DevDay를 관통한 주제는 AI를 실제 업무에 널리 쓰기 위해 어떤 기반이 필요한가였는데, AMD의 하드웨어·소프트웨어 전략과 함께 Moreh, 네이버클라우드, Clevi, Nota AI, Lablup 등 국내 기업의 운영·최적화 사례를 들을 수 있었습니다.

AI 에이전트에게 더 많은 일을 맡길수록 토큰 소비는 늘어나고, 그 추론을 빠르고 안정적으로 처리하는 인프라의 중요성도 커집니다. 빠르게 다가오는 AI 에이전트 시대에는 모델을 잘 선택하는 일과 함께, 그 모델을 얼마의 비용으로 어디서 어떻게 사용할 수 있는지를 함께 고민해야 할 것 같습니다.
점점 더 늘어나는 ‘추론’ 토큰
챗봇에 질문하고 답변을 받는 작업에 사용되는 토큰의 양은 대화의 길이나 횟수에 비례합니다. 하지만 여러 단계의 긴 작업을 자율적으로 실행하는 AI 에이전트는 한 번의 지시를 처리하기 위해 계획을 세우고, 자료를 찾고, 도구를 실행하고, 결과를 확인하는 과정을 반복하며, 다음 행동을 판단합니다.
코딩 에이전트가 좋은 예인데, AI는 코드를 생성한 뒤 실행하고, 오류를 읽고, 수정하고, 다시 테스트합니다. 사용자는 “이 기능을 만들어 줘”라고 한 줄의 텍스트로 요청했지만, 결과물을 생성하기 위해서는 수많은 모델 호출과 입력·출력 토큰이 발생합니다. AI가 처리하는 정보의 단위인 토큰이 업무 과정 전체에서 급격히 증가하는 것입니다.
즉, 에이전트에게 맡기는 업무가 많아지고 여러 에이전트가 동시에 움직이면 추론 수요도 커집니다. 모델 효율이 좋아져 토큰당 가격이 내려가더라도, 사용량이 더 빠르게 늘면 전체 비용은 증가할 수 있습니다. AI의 활용이 확대될수록 추론의 경제성을 함께 고려하고, 설계해야 하는 이유입니다.
AMD 현장 발표의 토큰 수요 전망을 바탕으로 재구성한 그래프입니다.
Moreh가 보여준 토큰 서비스의 경제학
Moreh는 고객의 요구가 GPU 서버를 빌리는 것에서 기존 에이전트에 바로 연결할 수 있는 API로 옮겨가는 흐름을 설명했습니다. 고객이 원하는 것은 필요한 모델을 신속하게 쓰고, 적절한 속도로 응답을 받으며, 토큰 비용을 예측할 수 있는 서비스입니다.
이때 하드웨어의 차이는 사라지지 않습니다. 그 차이를 다루는 일이 서비스 운영자의 몫이 됩니다. 새로운 모델을 지원하고, 장비에 맞게 연산을 최적화하고, 여러 요청을 나누어 처리하고, 메모리와 네트워크의 병목을 줄여야 합니다. 같은 장비에서도 소프트웨어와 운영 방식에 따라 제공할 수 있는 처리량과 비용이 달라집니다.
특히 사용자 한 명이 받는 속도와 GPU 한 대의 전체 처리량을 구분한 설명이 중요했습니다. 여러 요청을 묶으면 장비의 총처리량은 높아져도 개별 사용자의 응답은 느려질 수 있습니다. 반대로 소수 요청에 자원을 집중하면 응답은 빨라져도 장비의 전체 처리량은 낮아질 수 있습니다.
추론 인프라의 경쟁력은 최고 속도 하나로 결정되지 않습니다. 고객이 기다릴 수 있는 시간 안에서 필요한 품질과 처리량을 얼마나 안정적으로 제공하느냐가 서비스의 가격과 지속 가능성을 좌우합니다.
GPU 밖에서도 에이전트는 일합니다
AMD의 EPYC 세션은 에이전트 시대에 CPU가 맡을 역할을 보여줬습니다. 모델이 코드를 생성하는 것과 생성된 코드를 실제로 실행하는 것은 서로 다른 작업입니다. 파일 처리, 컴파일, 테스트, 데이터베이스 접근 같은 과정에는 CPU와 메모리, 저장장치, 네트워크가 필요합니다.
발표에서는 에이전트가 만든 코드와 도구를 격리된 환경에서 실행하는 샌드박스도 별도의 인프라 역할로 다뤘습니다. 에이전트가 많아질수록 동시에 실행할 공간과 자원을 확보하고, 작업 권한과 실패한 실행을 관리하는 일도 중요해집니다.
이 관점에서 보면 GPU의 토큰 생성 속도만 높여서는 충분하지 않습니다. 모델이 답을 빨리 내놓아도 검색이나 테스트가 오래 걸리면 사용자의 대기 시간은 기대만큼 줄지 않습니다. 모델의 응답 속도와 에이전트의 업무 완료 시간을 따로 측정해야 합니다.
네이버클라우드의 사례는 이 문제를 실제 운영의 관점으로 넓혔습니다. 서버를 늘리려면 프로세서뿐 아니라 랙 공간, 전력, 냉각까지 함께 고려해야 합니다. 발표에서는 새 CPU 세대마다 인증을 거치고, 관리 노드와 운영 플랫폼에서 검증한 뒤 서비스로 확대하는 절차를 소개했습니다. 좋은 장비를 고르는 것만큼 실제 업무에서 검증하며 배치하는 과정이 중요하다는 사례입니다.
로컬 AI도 최적화가 있어야 경제적입니다
토큰 사용량이 늘면 일부 작업을 사내 서버나 PC에서 처리하는 로컬 AI도 중요한 선택지가 됩니다. 반복적인 API 지출을 장비와 전력·운영비로 바꾸고, 민감한 데이터를 내부에서 다룰 수 있기 때문입니다. 다만 장비에 모델을 올렸다는 사실만으로 비용과 성능 문제가 해결되지는 않습니다.
이번 행사에서 국내 기업들은 서로 다른 부분을 짚었습니다.
- Clevi는 입력 문서의 문제를 다뤘습니다. HWP·PDF·스캔 문서에서 텍스트만 추출하면 표의 관계나 그림의 위치, 페이지 구조가 사라질 수 있습니다. 문서를 AI가 읽기 좋은 형태로 바꾸면서 원문 근거를 보존하는 기술은 에이전트가 제대로 판단하기 위한 출발점입니다.
- Nota AI는 작업을 장치에 맞게 나누는 방식을 보여줬습니다. 소개한 사례에서는 입력 문맥 처리와 답변 생성을 NPU와 GPU에 나누고, 모델 가중치를 공유해 메모리 효율을 높이는 구성을 설명했습니다. 모델뿐 아니라 실행 방식과 하드웨어 배치까지 함께 최적화하는 접근입니다.
- Lablup은 같은 모델도 실행 환경에 따라 성능이 달라진다는 점을 보여줬습니다. 통합 메모리를 지원하거나 저정밀 모델을 사용할 수 있다는 사양만으로 실제 속도를 알 수는 없습니다. 하드웨어에 맞는 연산 경로와 메모리 사용 방식이 필요합니다.
이 사례들의 공통점은 모델과 실제 업무 사이에 해결해야 할 문제가 많다는 것입니다. 문서를 제대로 읽고, 메모리를 효율적으로 쓰고, 장치별 병목을 줄이는 소프트웨어가 있어야 하드웨어의 성능을 서비스의 가치로 바꿀 수 있습니다.
기업은 ‘완료한 업무 한 건’으로 비교해야 합니다
이날 발표들을 기업의 AI 도입에 적용하면 판단 기준이 명확해집니다. 토큰 단가와 장비 가격에 더해, 필요한 품질로 업무 한 건을 끝내는 데 드는 총비용을 봐야 합니다. 올해 초에 화제가 되었던 ‘토큰 맥싱’이라는 트렌드는 불과 몇 달 사이에 ‘토큰 이코노미’와 같이 토큰의 비용 대비 업무 효율을 극대화하는 방향으로 진화하고 있습니다. 실제로 AMD 사내에서도 각 직원의 월간 토큰 사용량을 무제한에서 현재는 일정 수준으로 제한하고 있다고 합니다.
- 품질: 결과가 실제 업무 기준을 통과하는가. 누락과 오류는 무엇이며 사람의 수정 시간이 얼마나 필요한가.
- 시간과 비용: 첫 응답뿐 아니라 완료까지 얼마나 걸리는가. 토큰 사용량, 재시도, 장비·운영비를 합치면 얼마인가.
- 데이터와 운영: 어떤 정보가 외부로 나가는가. 동시 작업이 늘거나 모델이 바뀌어도 같은 수준을 유지할 수 있는가.
이 결과에 따라 클라우드, 로컬, 또는 두 방식을 섞은 구성을 선택할 수 있습니다. 자주 반복되고 검증하기 쉬운 작업을 로컬에서 처리하고, 더 높은 성능이 필요한 작업을 클라우드로 보내는 방식도 실제 품질과 비용을 비교해 판단할 대상입니다. 로컬 처리 비율 자체를 높이는 것보다 업무 성공률을 유지하며 비용을 관리하는 것이 목표여야 합니다.
AI를 계속 쓰게 만드는 기반
오늘 현장의 발표들을 종합하면, AI 에이전트의 확산은 모델 호출을 늘리는 동시에 그 주변의 실행·데이터·운영 인프라까지 확장하는 변화입니다. 앞으로 더 많은 일을 에이전트에게 맡길수록 토큰 소비와 추론 인프라는 더 중요한 문제가 될 것입니다.
AIB가 AI를 비교하고 고객의 과제에 맞는 활용 방안을 찾을 때도 이 관점이 필요합니다. 어떤 모델이 좋은 답을 내는지에 더해, 실제 업무를 얼마나 빠르고 안정적으로, 감당할 수 있는 비용으로 끝내는지까지 살펴야 합니다. 그 기반을 만드는 일이 AI 에이전트 시대의 중요한 경쟁력이 될 것입니다.
행사 프로그램: AMD ADVANCING AI WORLD TOUR SEOUL 2026 · AMD AI DEVDAY SEOUL 2026
함께 읽어보기
AI 트렌드와 관련된 글 더 보기 →
AI 에이전트 결제 시대, 판매자가 준비할 상품정보와 요금제
고객이 우리 홈페이지를 방문하기 전에, 고객의 AI가 상품을 비교하고 구매까지 결정한다면 어떨까요? AI 에이전트는 사람이 맡긴 목표에 따라 정보를 찾고 일을 실행하는 AI입니다. AI…

레바텍 프리랜스가 소개한 AIB: AI 시대 엔지니어의 가치는 어떻게 달라질까?
최근 IT 엔지니어와 프리랜서를 위한 일본 미디어 ‘레바텍 프리랜스(Levtech Freelance)’의 주목할 만한 AI 도구·AI 에이전트 특집에서 에이아이비(AIB)를 소개해 주셨습…

피클 AI 에이전트 후기: 전화·예약·쇼핑, 어디까지 되나?
최근 피클(Pickle)이라는 한국형 AI 에이전트가 화제입니다. 이름도 UI도 어딘가 장난스럽고, 캐릭터는 그록봇(Grok Bot)과 살짝 닮았습니다. SNS에서 호평이 이어지길래 저도…

AI는 무엇을 기억해야 할까? '꿈'으로 기억을 고치는 AI 에이전트
AI에게 "기억 노트"를 쥐여 주면 알아서 똑똑해질까요? Anthropic이 2026년 11월 6일 공개한 연구의 답은 "노트만으로는 부족하다"입니다. 승부처는 무엇을 적느냐, 그리고 틀…