Baseten, 서버리스 루프 정식 출시

Baseten이 2026년 11월 6일 오픈 모델을 대상으로 지도 미세조정과 강화학습을 수행할 수 있는 서버리스 루프를 정식 출시했습니다. 사용자는 SDK를 통해 학습한 모델을 프로덕션 추론 환경에 바로 배포할 수 있습니다. Tinker 호환 API로 학습하고 체크포인트를 평가한 뒤 Baseten 전용 추론 환경에 배포합니다. API가 GPU, 커널, 모델 구조, 분산 학습 인프라를 관리하며 성능과 수치 정확성도 처리합니다.

출시 시점에 루프는 일부 인기 오픈 웨이트 모델의 지도 미세조정과 강화학습을 256k 문맥 길이로 지원합니다. Baseten은 토큰별 과금으로 사용한 만큼만 비용을 내며, 학습 모델은 클릭 한 번으로 추론 플랫폼에 배포할 수 있다고 밝혔습니다. 이때 어댑터를 기본 모델과 함께 불러와 프로덕션 엔드포인트를 구성합니다. 플랫폼은 하루 15B건 이상의 추론 요청을 처리하며 자동 확장, 배포 관리, 추론 지표를 제공합니다. 모델 가중치는 Hugging Face Safetensors 형식으로 내려받을 수도 있습니다.

Baseten은 정식 출시를 위해 일시적인 네트워크 오류와 GPU 장애 처리 성능을 개선하고, 시작 오버헤드를 줄였으며, 학습기와 샘플러 사이의 가중치 전송을 빠르게 했습니다. 회사는 이 변경으로 동시에 처리할 수 있는 고객 작업이 늘었다고 밝혔습니다. 또한 소매, 항공, 은행 분야의 τ-bench 작업과 학습에 포함되지 않은 어려운 과제를 평가에 사용해 루프의 종단 간 강화학습 실험을 검증했다고 전했습니다.

Baseten에 따르면 NVIDIA, Datadog, LangChain Labs, Ambience Healthcare 팀이 루프를 사용했습니다. NVIDIA는 텍스트와 시각 과제에 Nemotron Super 3.5 VL 모델을 추가 학습했으며, 의도 분류 정확도를 76.8%에서 94%로 높이고 영수증 추출에서 검증 F1 87%를 달성했습니다. Datadog은 오픈 모델에 여러 차례 대화하는 에이전트 강화학습을 적용해 SRE 에이전트의 학습 방안을 시험하고 있습니다. LangChain Labs는 GitHub 문제 진단과 풀 리퀘스트용 프롬프트 또는 코드 변경 작성 등 어려운 LangSmith Engine 작업에 필요한 에이전트 실행 기록으로 모델을 추가 학습합니다. Ambience Healthcare는 전사 오류 수정, 의학 용어와 서식 반영 등 임상 언어 작업에 맞춰 모델을 추가 학습했습니다.

사용자는 Baseten API 키를 만들고 루프 빠른 시작 안내를 따른 뒤 데이터 세트를 가져오거나 보상 함수를 연결해 시작할 수 있습니다. 이어 에이전트의 실행 환경과 샌드박스 요구에 맞게 예제 코드를 조정하면 됩니다. Baseten은 전용 용량, Training Jobs를 통한 관리형 GPU 인프라, 자체 학습기를 사용하는 팀을 위한 RL Rollouts도 제공합니다. 회사는 새 모델, 양자화 기법, 점수 중심화 기능을 계획하고 있으며, 커널 버그와 LoRA 대상 선택, 자사 주장 기준 4배 이상 빠른 MoE LoRA 커널, 클러스터 간 가중치 동기화, 학습기와 샘플러의 효율·속도 간 절충에 관한 기술 글도 공개할 예정입니다.

Baseten이 2026년 11월 6일 오픈 모델을 대상으로 지도 미세조정과 강화학습을 수행할 수 있는 서버리스 루프를 정식 출시했습니다. 사용자는 SDK를 통해 학습한 모델을 프로덕션 추론 환경에 바로 배포할 수 있습니다. Tinker 호환 API로 학습하고 체크포인트를 평가한 뒤 Baseten 전용 추론 환경에 배포합니다. API가 GPU, 커널, 모델 구조, 분산 학습 인프라를 관리하며 성능과 수치 정확성도 처리합니다.

출시 시점에 루프는 일부 인기 오픈 웨이트 모델의 지도 미세조정과 강화학습을 256k 문맥 길이로 지원합니다. Baseten은 토큰별 과금으로 사용한 만큼만 비용을 내며, 학습 모델은 클릭 한 번으로 추론 플랫폼에 배포할 수 있다고 밝혔습니다. 이때 어댑터를 기본 모델과 함께 불러와 프로덕션 엔드포인트를 구성합니다. 플랫폼은 하루 15B건 이상의 추론 요청을 처리하며 자동 확장, 배포 관리, 추론 지표를 제공합니다. 모델 가중치는 Hugging Face Safetensors 형식으로 내려받을 수도 있습니다.

Baseten은 정식 출시를 위해 일시적인 네트워크 오류와 GPU 장애 처리 성능을 개선하고, 시작 오버헤드를 줄였으며, 학습기와 샘플러 사이의 가중치 전송을 빠르게 했습니다. 회사는 이 변경으로 동시에 처리할 수 있는 고객 작업이 늘었다고 밝혔습니다. 또한 소매, 항공, 은행 분야의 τ-bench 작업과 학습에 포함되지 않은 어려운 과제를 평가에 사용해 루프의 종단 간 강화학습 실험을 검증했다고 전했습니다.

Baseten에 따르면 NVIDIA, Datadog, LangChain Labs, Ambience Healthcare 팀이 루프를 사용했습니다. NVIDIA는 텍스트와 시각 과제에 Nemotron Super 3.5 VL 모델을 추가 학습했으며, 의도 분류 정확도를 76.8%에서 94%로 높이고 영수증 추출에서 검증 F1 87%를 달성했습니다. Datadog은 오픈 모델에 여러 차례 대화하는 에이전트 강화학습을 적용해 SRE 에이전트의 학습 방안을 시험하고 있습니다. LangChain Labs는 GitHub 문제 진단과 풀 리퀘스트용 프롬프트 또는 코드 변경 작성 등 어려운 LangSmith Engine 작업에 필요한 에이전트 실행 기록으로 모델을 추가 학습합니다. Ambience Healthcare는 전사 오류 수정, 의학 용어와 서식 반영 등 임상 언어 작업에 맞춰 모델을 추가 학습했습니다.

사용자는 Baseten API 키를 만들고 루프 빠른 시작 안내를 따른 뒤 데이터 세트를 가져오거나 보상 함수를 연결해 시작할 수 있습니다. 이어 에이전트의 실행 환경과 샌드박스 요구에 맞게 예제 코드를 조정하면 됩니다. Baseten은 전용 용량, Training Jobs를 통한 관리형 GPU 인프라, 자체 학습기를 사용하는 팀을 위한 RL Rollouts도 제공합니다. 회사는 새 모델, 양자화 기법, 점수 중심화 기능을 계획하고 있으며, 커널 버그와 LoRA 대상 선택, 자사 주장 기준 4배 이상 빠른 MoE LoRA 커널, 클러스터 간 가중치 동기화, 학습기와 샘플러의 효율·속도 간 절충에 관한 기술 글도 공개할 예정입니다.