리퀴드 AI, 실시간 추론 엔진 RIPL 출시

리퀴드 AI는 22일(현지시간) 실시간 업무의 AI 응답 지연을 줄이기 위한 상용 추론 엔진 RIPL(Real-time Inference Pipeline)을 출시했다고 밝혔습니다. 오픈소스가 아닌 기업 고객용 제품으로 제공되며, 도입 가격은 영업팀에 문의해야 합니다. 회사는 자체 파운데이션 모델 LFM을 요청 처리 경로에 직접 연결해 요청 접수부터 응답 완성까지 50밀리초(ms) 미만을 목표로 설계했다고 설명했습니다. 최대 수준의 트래픽이 이어져도 낮은 지연 시간을 유지하도록 개발했다는 설명입니다.

기존 추론 인프라는 대규모 배치 처리나 장시간 실행되는 AI 에이전트 작업에 맞춰져 있어 요청당 수 초가 걸릴 수 있습니다. 반면 검색 순위 결정, 상품 추천, 사기 탐지, 결제 승인에는 밀리초 단위 응답이 필요합니다. 리퀴드 AI는 기업들이 이런 업무에 그래디언트 부스팅 트리나 소형 임베딩 모델 등 빠른 전통적 머신러닝 기법을 주로 써 왔다며, RIPL로 해당 기법과 생성 AI 사이의 속도·성능 절충을 줄이겠다고 밝혔습니다.

회사는 검색어 재작성, 의도 분류, 사기 탐지처럼 입력에 비해 출력이 단일 토큰이거나 매우 짧은 작업에 맞춰 RIPL을 설계했다고 설명했습니다. 긴 답변을 만드는 대화형 챗봇보다 빠른 판단이 필요한 의사결정 경로에 초점을 둡니다. 모델 알고리즘뿐 아니라 요청 접수부터 응답 완료까지의 인프라와 처리 경로 전체를 최적화한다는 설명입니다.

리퀴드 AI의 자체 벤치마크에서 단일 엔비디아 B200 GPU로 입력 32토큰·출력 32토큰 및 입력 256토큰·출력 128토큰 작업을 시험한 결과, RIPL의 LFM2.5-1.2B는 vLLM에서 실행한 큐원3.5-0.8B보다 p95 지연 시간이 14.4~28.4배 낮았습니다. LFM2.5-2.6B도 vLLM의 큐원3.5-2B보다 p95 지연 시간이 5.6~7.7배 짧았습니다. 회사 자체 측정 결과이며 다른 환경에서 같은 성능이 나오는지는 추가 검증이 필요합니다.

전자상거래 플랫폼 쇼피파이는 응답 속도가 중요한 커머스 업무에 LFM을 도입하고 있습니다. 검색 개선 작업에서 실제 운영 트래픽을 대상으로 20ms 미만 추론 시간을 구현했으며, 대체 모델보다 매개변수 수를 약 50% 줄이면서 추론 속도는 2~10배 높였다고 리퀴드 AI는 설명했습니다. 적용 분야로 광고 검색어 재작성, 검색 의도 분류, 검색 결과 재순위화, 결제 위험 평가, 신용 심사, 이미지 대체 텍스트 생성 등을 들었습니다. RIPL은 엔비디아 H100·H200·B200 및 RTX PRO 6000 GPU를 쓰는 기업 환경에서 이용할 수 있으며, 지원 모델은 매개변수 2억3000만~26억 개의 LFM2.5 계열입니다.

리퀴드 AI는 22일(현지시간) 실시간 업무의 AI 응답 지연을 줄이기 위한 상용 추론 엔진 RIPL(Real-time Inference Pipeline)을 출시했다고 밝혔습니다. 오픈소스가 아닌 기업 고객용 제품으로 제공되며, 도입 가격은 영업팀에 문의해야 합니다. 회사는 자체 파운데이션 모델 LFM을 요청 처리 경로에 직접 연결해 요청 접수부터 응답 완성까지 50밀리초(ms) 미만을 목표로 설계했다고 설명했습니다. 최대 수준의 트래픽이 이어져도 낮은 지연 시간을 유지하도록 개발했다는 설명입니다.

기존 추론 인프라는 대규모 배치 처리나 장시간 실행되는 AI 에이전트 작업에 맞춰져 있어 요청당 수 초가 걸릴 수 있습니다. 반면 검색 순위 결정, 상품 추천, 사기 탐지, 결제 승인에는 밀리초 단위 응답이 필요합니다. 리퀴드 AI는 기업들이 이런 업무에 그래디언트 부스팅 트리나 소형 임베딩 모델 등 빠른 전통적 머신러닝 기법을 주로 써 왔다며, RIPL로 해당 기법과 생성 AI 사이의 속도·성능 절충을 줄이겠다고 밝혔습니다.

회사는 검색어 재작성, 의도 분류, 사기 탐지처럼 입력에 비해 출력이 단일 토큰이거나 매우 짧은 작업에 맞춰 RIPL을 설계했다고 설명했습니다. 긴 답변을 만드는 대화형 챗봇보다 빠른 판단이 필요한 의사결정 경로에 초점을 둡니다. 모델 알고리즘뿐 아니라 요청 접수부터 응답 완료까지의 인프라와 처리 경로 전체를 최적화한다는 설명입니다.

리퀴드 AI의 자체 벤치마크에서 단일 엔비디아 B200 GPU로 입력 32토큰·출력 32토큰 및 입력 256토큰·출력 128토큰 작업을 시험한 결과, RIPL의 LFM2.5-1.2B는 vLLM에서 실행한 큐원3.5-0.8B보다 p95 지연 시간이 14.4~28.4배 낮았습니다. LFM2.5-2.6B도 vLLM의 큐원3.5-2B보다 p95 지연 시간이 5.6~7.7배 짧았습니다. 회사 자체 측정 결과이며 다른 환경에서 같은 성능이 나오는지는 추가 검증이 필요합니다.

전자상거래 플랫폼 쇼피파이는 응답 속도가 중요한 커머스 업무에 LFM을 도입하고 있습니다. 검색 개선 작업에서 실제 운영 트래픽을 대상으로 20ms 미만 추론 시간을 구현했으며, 대체 모델보다 매개변수 수를 약 50% 줄이면서 추론 속도는 2~10배 높였다고 리퀴드 AI는 설명했습니다. 적용 분야로 광고 검색어 재작성, 검색 의도 분류, 검색 결과 재순위화, 결제 위험 평가, 신용 심사, 이미지 대체 텍스트 생성 등을 들었습니다. RIPL은 엔비디아 H100·H200·B200 및 RTX PRO 6000 GPU를 쓰는 기업 환경에서 이용할 수 있으며, 지원 모델은 매개변수 2억3000만~26억 개의 LFM2.5 계열입니다.