애플은 WWDC 26에서 온디바이스 환경에서 대규모 언어 모델과 생성형 AI를 완벽히 실행하도록 설계된 새로운 프레임워크 Core AI를 공개했다. Core ML의 차세대 버전인 이 도구는 Apple Intelligence의 기반 기술로 통합됐다. 아이폰, 아이패드, 맥, Apple Vision Pro를 아우르는 전 라인업에서 3B 매개변수의 소형 모델부터 70B 매개변수에 달하는 거대언어모델까지 원활하게 실행 가능하다. 특히 CPU, GPU, Neural Engine 전반에 걸쳐 통합된 API를 제공함으로써 하드웨어 활용도를 극대화했다.

Core AI는 메모리 안정성이 확보된 Swift API를 탑재해 제로 카피 데이터 경로를 지원하며, 개발자가 추론 메모리를 정밀하게 제어할 수 있도록 돕는다. 또한 AOT 컴파일을 도입해 처리 부하를 기기 밖으로 분산함으로써 즉각적인 모델 로딩 속도를 구현했다. 개발자는 Core AI PyTorch 도구를 사용해 기존 PyTorch 모델을 변환하거나 내장된 복합 연산을 활용해 새로운 모델을 제작할 수 있다. 이 프레임워크는 양자화와 팔레트화(palettization) 같은 최적화 기법을 지원해 모델 용량과 실행 메모리 점유율을 줄이고 추론 지연 시간 및 전력 소비를 낮췄다.

로딩된 모델은 특정 하드웨어와 운영체제 버전에 따라 자동 최적화되며, 이 정보는 모델 캐시에 저장되어 이후 실행 속도를 향상시킨다. 개발자는 캐시된 자원을 직접 관리하거나 앱 그룹 간에 공유할 수 있다. 향후 애플 생태계 내에서 기존 비신경망 작업은 Core ML이, 신경망과 트랜스포머 모델은 Core AI가, 사용자 정의 모델 실험은 MLX가 각각 담당하게 된다. 이번 발표는 서버 의존성을 배제하고 개인정보 보호를 강화한 온디바이스 생성형 AI로 나아가겠다는 전략적 변화를 시사한다.

애플은 WWDC 26에서 온디바이스 환경에서 대규모 언어 모델과 생성형 AI를 완벽히 실행하도록 설계된 새로운 프레임워크 Core AI를 공개했다. Core ML의 차세대 버전인 이 도구는 Apple Intelligence의 기반 기술로 통합됐다. 아이폰, 아이패드, 맥, Apple Vision Pro를 아우르는 전 라인업에서 3B 매개변수의 소형 모델부터 70B 매개변수에 달하는 거대언어모델까지 원활하게 실행 가능하다. 특히 CPU, GPU, Neural Engine 전반에 걸쳐 통합된 API를 제공함으로써 하드웨어 활용도를 극대화했다.

Core AI는 메모리 안정성이 확보된 Swift API를 탑재해 제로 카피 데이터 경로를 지원하며, 개발자가 추론 메모리를 정밀하게 제어할 수 있도록 돕는다. 또한 AOT 컴파일을 도입해 처리 부하를 기기 밖으로 분산함으로써 즉각적인 모델 로딩 속도를 구현했다. 개발자는 Core AI PyTorch 도구를 사용해 기존 PyTorch 모델을 변환하거나 내장된 복합 연산을 활용해 새로운 모델을 제작할 수 있다. 이 프레임워크는 양자화와 팔레트화(palettization) 같은 최적화 기법을 지원해 모델 용량과 실행 메모리 점유율을 줄이고 추론 지연 시간 및 전력 소비를 낮췄다.

로딩된 모델은 특정 하드웨어와 운영체제 버전에 따라 자동 최적화되며, 이 정보는 모델 캐시에 저장되어 이후 실행 속도를 향상시킨다. 개발자는 캐시된 자원을 직접 관리하거나 앱 그룹 간에 공유할 수 있다. 향후 애플 생태계 내에서 기존 비신경망 작업은 Core ML이, 신경망과 트랜스포머 모델은 Core AI가, 사용자 정의 모델 실험은 MLX가 각각 담당하게 된다. 이번 발표는 서버 의존성을 배제하고 개인정보 보호를 강화한 온디바이스 생성형 AI로 나아가겠다는 전략적 변화를 시사한다.