오픈소스 API 시장, 추론 주도권 쟁탈전 가열
KDNuggets
2026년 1월 25일 (일)
- •Cerebras는 웨이퍼 스케일 하드웨어를 통해 GPT-OSS 120B 모델에서 초당 2,988 토큰이라는 압도적인 처리량을 기록하며 시장을 선도하고 있다.
- •Fireworks AI와 Groq는 저지연 벤치마크에서 우위를 점하며, 실시간 상호작용형 에이전트와 챗봇 구축에 최적화된 성능을 보여준다.
- •Together.ai와 Clarifai는 대규모 기업용 배포를 위한 안정적인 스케일링과 비용 효율적인 하이브리드 클라우드 오케스트레이션 서비스를 제공한다.
오픈 가중치(Open-weight) 모델의 시대가 임계점을 넘었다. 이제 실험적인 프로젝트를 넘어 유료 독점 모델에 도전하는 생산용 엔진으로 진화했다. 하지만 1,000억 개 이상의 파라미터를 가진 모델은 막대한 메모리를 요구한다. 일반적인 하드웨어 한계를 넘어서는 수준이다. 이로 인해 개발자들은 로컬 실행 대신 특화된 API 제공사로 눈을 돌리고 있다. Cerebras는 거대한 단일 칩 아키텍처인 웨이퍼 스케일 엔진을 활용해 차별화를 꾀했다. 표준 클러스터 간의 통신 지연을 완전히 제거한 방식이다. 덕분에 복잡하고 긴 프롬프트를 처리할 때도 즉각적인 응답이 가능하다. 반응 속도를 중시하는 개발자에게는 Groq가 매력적이다. 자체 개발한 LPU를 통해 에이전틱 워크플로우에 필수적인 예측 가능한 저지연 스트리밍을 보장한다. 한편, Together.ai와 Fireworks AI는 최적화된 소프트웨어 스택으로 높은 신뢰성을 구축했다. 모델의 가중치 못지않게 하부 인프라와 추론 스케일링 기술이 성능의 핵심임을 입증한 셈이다. 비용 효율성 또한 주요 변수다. DeepInfra는 가장 낮은 가격을 제시하지만, 여러 클라우드 환경을 관리하는 Clarifai 같은 기업용 플랫폼에 비해 가동 시간은 다소 희생된다. 이제 적합한 제공사를 선택하는 기준은 단순한 모델 접근성을 넘어, 투입 비용 대비 성능이라는 구체적인 지표로 이동하고 있다.