Google, Android LiteRT 추론 속도 개선

Google AI Edge Team과 Android ML Team은 2026년 10월 28일, Google Play services의 LiteRT가 기존 GPU delegate보다 약 1.4배 빠른 GPU 추론을 지원한다고 발표했습니다. Android 기기 내 추론 런타임은 수십억 대 기기에서 하루 1조 회가 넘는 추론을 처리합니다. 이번 업그레이드는 CompiledModel API를 통해 ML Drift를 사용하며, Google은 이를 기존 Interpreter API의 현대적 후속 방식이라고 설명합니다.

Google의 테스트에서는 앱에 포함된 런타임 대신 Play services의 LiteRT로 전환한 앱의 크기가 약 8MB 줄었습니다. 런타임과 GPU 가속기는 앱마다 들어가는 대신 Play services를 통해 한 번 배포됩니다. 현재 10만 개가 넘는 Android 앱이 LiteRT 또는 TensorFlow Lite를 포함합니다. Google은 더 많은 앱이 공유 런타임으로 전환하면 저장 공간과 메모리를 아낄 수 있고, 성능 개선과 버그 수정, 보안 패치도 앱 업데이트 없이 단계적으로 배포된다고 밝혔습니다. LiteRT는 Android 7(API 레벨 24) 이상 휴대전화, Wear OS 4 이상, Android 11 이상을 실행하는 Android Automotive OS를 지원합니다.

LiteRT는 .tflite 모델 형식을 유지하며 CPU와 GPU 가속을 위한 단일 작업 흐름을 제공합니다. 사용 가능한 경우 OpenCL을, 그렇지 않으면 OpenGL을 사용하며 요청한 GPU를 쓸 수 없으면 CPU로 전환합니다. 같은 모델 형식은 Android, iOS, 데스크톱, 웹에서 지원됩니다. 기존 Interpreter API는 CPU에서 계속 지원돼 단계적으로 이전할 수 있습니다. Google은 수십억 대 Android 기기에서 이미 이 인프라를 사용하는 서비스로 Subject Segmentation과 Document Scanner를 포함한 ML Kit Vision 및 Text API를 들었습니다.

개발자는 com.google.android.gms:play-services-litert:17.0.0 이상을 추가하고, 앱에 포함된 litert 종속성이 있으면 제거한 뒤 Play services LiteRT 환경을 초기화해 CompiledModel에 전달하면 됩니다. 전환 뒤 기존 Interpreter 코드는 CPU에서 계속 작동하지만, GPU를 사용하려면 CompiledModel로 옮겨야 합니다. Google은 Interpreter 호출을 다시 쓰고 CPU 대체 경로를 포함한 GPU 가속을 설정하는 Android Studio skill도 제공합니다. 다만 개발자에게 변경 사항을 검토하고 빌드한 뒤 실제 기기에서 출력을 비교하라고 권고합니다.

Google은 기존 GPU delegate와 사용자 지정 delegate API를 더 이상 권장하지 않으며, CompiledModel GPU 가속과 Compiler Plugin 및 Dispatch API를 대안으로 제시했습니다. NNAPI 제거는 2027년에 시작되며, 이전 SDK에는 중요한 보안 수정만 제공됩니다. 더 이상 권장되지 않는 API를 사용하는 코드는 최신 SDK에서 컴파일되지 않습니다. Google은 이미 배포된 앱은 계속 작동한다고 밝혔지만, 이전 계획을 세우라고 권고했습니다. Play services의 NPU 지원은 개발 중입니다.

Google AI Edge Team과 Android ML Team은 2026년 10월 28일, Google Play services의 LiteRT가 기존 GPU delegate보다 약 1.4배 빠른 GPU 추론을 지원한다고 발표했습니다. Android 기기 내 추론 런타임은 수십억 대 기기에서 하루 1조 회가 넘는 추론을 처리합니다. 이번 업그레이드는 CompiledModel API를 통해 ML Drift를 사용하며, Google은 이를 기존 Interpreter API의 현대적 후속 방식이라고 설명합니다.

Google의 테스트에서는 앱에 포함된 런타임 대신 Play services의 LiteRT로 전환한 앱의 크기가 약 8MB 줄었습니다. 런타임과 GPU 가속기는 앱마다 들어가는 대신 Play services를 통해 한 번 배포됩니다. 현재 10만 개가 넘는 Android 앱이 LiteRT 또는 TensorFlow Lite를 포함합니다. Google은 더 많은 앱이 공유 런타임으로 전환하면 저장 공간과 메모리를 아낄 수 있고, 성능 개선과 버그 수정, 보안 패치도 앱 업데이트 없이 단계적으로 배포된다고 밝혔습니다. LiteRT는 Android 7(API 레벨 24) 이상 휴대전화, Wear OS 4 이상, Android 11 이상을 실행하는 Android Automotive OS를 지원합니다.

LiteRT는 .tflite 모델 형식을 유지하며 CPU와 GPU 가속을 위한 단일 작업 흐름을 제공합니다. 사용 가능한 경우 OpenCL을, 그렇지 않으면 OpenGL을 사용하며 요청한 GPU를 쓸 수 없으면 CPU로 전환합니다. 같은 모델 형식은 Android, iOS, 데스크톱, 웹에서 지원됩니다. 기존 Interpreter API는 CPU에서 계속 지원돼 단계적으로 이전할 수 있습니다. Google은 수십억 대 Android 기기에서 이미 이 인프라를 사용하는 서비스로 Subject Segmentation과 Document Scanner를 포함한 ML Kit Vision 및 Text API를 들었습니다.

개발자는 com.google.android.gms:play-services-litert:17.0.0 이상을 추가하고, 앱에 포함된 litert 종속성이 있으면 제거한 뒤 Play services LiteRT 환경을 초기화해 CompiledModel에 전달하면 됩니다. 전환 뒤 기존 Interpreter 코드는 CPU에서 계속 작동하지만, GPU를 사용하려면 CompiledModel로 옮겨야 합니다. Google은 Interpreter 호출을 다시 쓰고 CPU 대체 경로를 포함한 GPU 가속을 설정하는 Android Studio skill도 제공합니다. 다만 개발자에게 변경 사항을 검토하고 빌드한 뒤 실제 기기에서 출력을 비교하라고 권고합니다.

Google은 기존 GPU delegate와 사용자 지정 delegate API를 더 이상 권장하지 않으며, CompiledModel GPU 가속과 Compiler Plugin 및 Dispatch API를 대안으로 제시했습니다. NNAPI 제거는 2027년에 시작되며, 이전 SDK에는 중요한 보안 수정만 제공됩니다. 더 이상 권장되지 않는 API를 사용하는 코드는 최신 SDK에서 컴파일되지 않습니다. Google은 이미 배포된 앱은 계속 작동한다고 밝혔지만, 이전 계획을 세우라고 권고했습니다. Play services의 NPU 지원은 개발 중입니다.