클라우드와 온디바이스 AI, 이제는 어디에서 무엇을 할지 고를 때

비행기 모드로 전환한 스마트폰에 “음악을 틀고 창문을 닫아줘”라고 말합니다. AI가 요청을 이해하고 답합니다. 이어서 “이 음악은 조금 지루한데, 더 신나는 곡으로 바꿔줘”라고 하자 앞선 대화를 이어 받아 반응합니다.
11월 11일 서울에서 열린 DEEP DIVE INTO 2026에서 Liquid AI 일본의 CTO인 Rom Parnichkun이 보여준 차량 음성 비서 시연의 한 장면입니다.
Liquid AI는 MIT 연구진이 설립한 AI 기업으로, 스마트폰부터 서버까지 다양한 환경에서 효율적으로 실행할 수 있는 모델을 개발합니다. 처음부터 온디바이스만을 목표로 했다기보다, AI 모델을 더 효율적으로 만드는 연구에서 출발해 기기에서 실행되는 모델로 영역을 넓혔습니다.
AI 개발의 역사는 돌고 도는데, 작은 온디바이스 중심으로 시작되던 AI 연구가 LLM 시대에 거대한 데이터센터에서 돌아가는 클라우드 모델이 주류가 되더니, 최근에는 다시 온디바이스와 클라우드를 어떻게 적절하게 함께 사용할지가 크게 주목받고 있습니다.
AI가 실행되는 장소가 달라지고 있습니다

우리가 챗GPT나 제미나이 같은 서비스를 사용할 때는 보통 질문이 인터넷을 통해 서버로 전달되고, 서버에서 모델이 답을 생성해 돌려줍니다. 이런 방식을 클라우드 AI라고 부릅니다.
반면 온디바이스 AI는 스마트폰, 노트북, 자동차처럼 사용자가 쓰는 기기 안에서 모델을 실행합니다. 모델이 필요한 데이터를 기기에서 직접 처리할 수 있다는 점이 가장 큰 차이입니다.
물론 두 방식은 모델의 크기로만 나뉘지 않습니다. 작은 모델도 서버에서 실행할 수 있고, 노트북이나 자체 서버에서 비교적 큰 모델을 실행하는 방법도 있습니다. 온디바이스는 모델이 얼마나 똑똑한지를 가리키는 말이 아니라 어디에서 실행되는지를 뜻합니다.
그동안 기기에서 실행되는 모델은 할 수 있는 일이 제한적이라는 인식이 강했습니다. 하지만 모델을 더 효율적으로 설계하고 특정 업무에 맞춰 학습시키면서, 기기 안에서 다룰 수 있는 작업이 늘어나고 있으며, 특정 작업은 훨씬 더 빠르고 저렴하게 수행할 수 있습니다.
작은 모델을 만드는 새로운 방법

Liquid AI가 주목하는 것은 모델의 크기만 줄이는 일이 아닙니다. 같은 기기에서 실행하더라도 더 좋은 성능을 낼 수 있는 구조를 찾는 데 많은 노력을 기울입니다.
Rom이 설명한 방식은 여러 모델 구조를 만들어 실제 기기에서 시험하는 것입니다. 각각을 학습시킨 뒤 답변의 품질뿐 아니라 스마트폰이나 노트북에서 얼마나 빠르게 실행되는지, 메모리는 얼마나 사용하는지 함께 측정합니다.
그다음 좋은 결과를 낸 구조는 남기고, 일부 구조를 변형해 새로운 후보를 만듭니다. 이렇게 생성과 시험, 선택을 여러 차례 반복하며 주어진 기기에 맞는 구조를 찾아갑니다. 생물의 진화 과정에서 좋은 특성이 선택되고 변이가 일어나는 원리와 닮아 있어 진화적 탐색이라고 부릅니다.
Liquid AI는 이 방식으로 찾은 구조를 바탕으로 모델을 학습하고, 이후 수학·코딩·도구 사용 등 여러 능력을 강화하는 과정을 거칩니다. 분야별로 학습한 모델의 능력을 하나의 모델에 전달하는 과정도 활용합니다. 작은 모델이 제한된 크기 안에서 다양한 작업을 수행할 수 있도록 만드는 것입니다.
여기에는 꽤 많은 개발과 학습 자원이 들어갑니다. 작은 모델이 쉽게 만들어진다는 뜻은 아닙니다. 개발 단계에 자원을 투자해 두면, 이후에는 완성된 모델을 더 작은 기기에서 반복적으로 실행할 수 있다는 것이 Liquid AI의 접근입니다.
Rom은 앞으로 관심 있는 연구로 재귀적 자기 개선(RSI)도 언급했습니다. AI가 사용 과정에서 얻은 정보를 바탕으로 스스로 더 나아지는 방법을 연구한다는 것입니다. 특히 개인 기기에 있는 정보를 외부로 모두 보내지 않고도 사용자에게 맞춰 발전하는 가능성에 주목했습니다.
AI가 사람마다 어떻게 개선될 수 있을지는 앞으로 풀어야 할 문제이지만, 모델을 만드는 방식부터 사용자의 기기에서 작동하는 방식까지 함께 바뀌고 있다는 점을 보여줍니다.
온디바이스 모델이 주목받는 이유

Rom은 온디바이스 AI의 장점으로 비용, 오프라인 사용, 응답 속도, 개인정보 보호를 꼽았습니다.
먼저 인터넷 연결이 불안정한 환경에서도 기기 안에서 처리할 수 있는 작업은 계속 수행할 수 있습니다. 공장이나 물류 현장처럼 연결 상태가 일정하지 않은 곳, 혹은 이동 중인 차량에서 특히 중요한 조건입니다.
응답 속도도 달라질 수 있습니다. 클라우드에서 답을 받으려면 데이터를 서버로 보내고 결과를 다시 받아야 합니다. 기기 안에서 처리하면 이 네트워크 왕복 시간이 빠집니다. 음성 비서처럼 사용자가 바로 반응을 기대하는 서비스에서는 이 차이가 사용 경험에 영향을 줄 수 있습니다. 다만 실제 속도는 기기 성능과 모델 크기, 작업량에 따라 달라집니다.
데이터를 다루는 방식도 선택할 수 있습니다. 예를 들어 사내 문서의 내용을 기기에서 분석하도록 설계하면, 문서 전체를 외부 모델에 보내지 않고도 필요한 작업을 처리할 수 있습니다.
비용 구조 역시 다릅니다. 기기에서 모델을 실행하는 작업에는 클라우드 모델 호출에 따른 사용량 요금이 발생하지 않습니다. 대신 모델을 실행할 수 있는 기기의 구매 비용과 모델 적용·유지 비용, 기기의 메모리와 배터리 사용량, 업데이트 비용을 고려해야 합니다. 요청 한 번의 비용만이 아니라 서비스 전체를 운영하는 비용을 비교해야 하는 이유입니다.
내 곁에 있는 AI는 더 개인적으로 느껴질 수 있습니다

온디바이스 AI가 바꾸는 것은 처리 속도만이 아닙니다. AI를 사용하는 방식도 달라질 수 있습니다.
지금은 궁금한 것이 생기면 앱을 열어 질문하고 답을 받는 경우가 많습니다. 반면 스마트폰이나 자동차에 AI가 들어가 있다면, 사용자는 별도의 서비스를 찾아가기보다 평소 쓰던 기기에 말을 걸 수 있습니다.
발표에서는 스마트폰의 AI가 허용된 일정과 메일을 바탕으로 결혼식 초대장을 살펴보고, 일정 충돌과 이동에 필요한 정보를 정리하는 시연 영상도 소개했습니다. 사용자가 매번 처음부터 상황을 설명하지 않아도 기기 안의 정보를 활용해 도움을 주는 모습입니다.
이런 AI는 사용자의 일정이나 선호도를 이해할수록 더 개인적인 비서처럼 느껴질 수 있습니다. 자동차에서는 자주 쓰는 기능을 음성으로 조작하고, 스마트폰에서는 허용된 정보 안에서 필요한 내용을 먼저 정리하는 식입니다.
다만 기기 안에 있다는 사실만으로 사용자를 이해하거나 안전하게 행동하는 것은 아닙니다. 어떤 정보에 접근할지 사용자가 정할 수 있어야 하고, 메시지 전송이나 예약처럼 실제로 행동하는 작업에는 적절한 확인 절차가 필요합니다.
온디바이스와 클라우드를 함께 사용하는 방법

온디바이스와 클라우드는 하나를 골라야 하는 관계가 아닙니다. 하나의 서비스 안에서도 작업에 따라 두 방식을 함께 사용할 수 있습니다.
예를 들어 현장 직원의 음성 요청은 기기에서 이해하고, 자주 반복되는 작업은 바로 처리할 수 있습니다. 인터넷이 불안정해도 기본적인 기능을 사용할 수 있고, 빠른 응답이 필요한 요청에도 대응할 수 있습니다.
반면 긴 문서 여러 개를 함께 분석하거나 다양한 분야의 지식을 연결해야 한다면 클라우드의 더 큰 모델을 활용할 수 있습니다. 이때는 사용자가 허용한 정보만 전달하고, 새로운 정보를 찾아야 한다면 별도의 검색 기능도 연결합니다.
차량에서도 비슷한 구성이 가능합니다. 창문을 닫거나 음악을 바꾸는 요청은 기기에서 처리하고, 더 복잡한 조사나 계획이 필요할 때 클라우드 모델을 활용하는 방식입니다. 같은 AI 비서처럼 보이더라도 뒤에서는 작업의 성격과 사용 환경에 맞춰 처리 위치를 나누는 것입니다.
이때 무엇을 어디로 보내는지 결정해야 합니다. 모델은 기기에서 실행되더라도 앱이 입력 내용이나 결과를 서버에 저장할 수 있기 때문입니다. Rom 역시 개인정보 보호 수준은 모델뿐 아니라 앱을 어떻게 구현하느냐에 달려 있다고 설명했습니다.
우리 회사에는 어떤 모델이 맞을까요?

AI를 도입할 때는 어떤 모델이 가장 유명한지보다 우리 업무에 무엇이 필요한지부터 살펴봐야 합니다.
고객 문의를 빠르게 분류하는 일과 여러 문서를 읽고 새로운 전략을 세우는 일에는 서로 다른 능력이 필요합니다. 현장에서 인터넷 없이 작동해야 하는지, 얼마나 빠르게 응답해야 하는지, 데이터를 어디에서 처리할 수 있는지도 선택에 영향을 줍니다.
어떤 모델이 있는지 궁금하다면 AIB의 용도별 AI 성능 순위에서 업무 자동화, 문서 작업, 코딩 등 필요한 분야의 모델을 살펴보세요. AI 모델 비교에서는 후보 모델의 가격과 속도, 처리 용량과 평가 결과를 나란히 확인할 수 있습니다. AIB AI 비교에서 같은 질문에 대한 답변을 직접 비교해 보는 것도 좋은 출발점입니다.
이후에는 실제 업무와 사용 환경에서 시험해 볼 차례입니다. 순위가 높은 모델이라도 우리 업무에 꼭 맞는 것은 아니고, 온디바이스 모델 역시 실제 기기에서 충분한 속도와 정확도를 내는지 확인해야 합니다.
클라우드와 온디바이스의 경계가 가까워질수록 선택의 폭은 넓어집니다. 어떤 일을 어디에서 처리할지 잘 나누는 것, 그것이 앞으로 AI를 더 빠르고 유용하게 활용하는 기준이 될 것입니다.
함께 읽어보기
AI 트렌드와 관련된 글 더 보기 →
AI 시대의 PM, 무엇을 만들고 어디까지 책임져야 할까
고객이 회원가입 화면에서 자꾸 떠난다고 가정해 보겠습니다. 제품 관리자(PM)는 이 문제를 발견하고, 원인을 살펴보고, 팀과 함께 해결책을 정합니다. 개선된 화면이 출시되면 실제로 이탈이…

AI는 무엇을 기억해야 할까? '꿈'으로 기억을 고치는 AI 에이전트
AI에게 "기억 노트"를 쥐여 주면 알아서 똑똑해질까요? Anthropic이 2026년 11월 6일 공개한 연구의 답은 "노트만으로는 부족하다"입니다. 승부처는 무엇을 적느냐, 그리고 틀…

AI 에이전트는 어떻게 만들고 서로 연결할까? Google Agentic AI Night 참관기
AI 에이전트는 어떻게 만들고, 서로 연결해 하나의 일을 맡길 수 있을까요? 에이전트마다 역할을 정하고, 참고할 지침과 사용할 도구를 갖춰 주는 것부터 시작합니다. 여러 에이전트가 함께…

AI 교육은 적극적으로, AI 사용은 제한적으로
지난 글에서는 “AI가 일하는 시대, 우리 아이는 무엇을 배워야 할까?”를 살펴봤습니다. 이번에는 가정에서 실천할 수 있는 방법을 알아보겠습니다. 2026년 9월 4일, 미국의 소아과 전…