LongCat-2.5, 멀티모달 에이전트 작업 겨냥

LongCat은 2026년 11월 1일 장기 에이전트 작업용 네이티브 멀티모달 모델 LongCat-2.5를 공개했습니다. 모델은 총 1조 6,000억 개 매개변수를 갖췄으며, 토큰마다 약 480억 개를 활성화합니다. 회사는 LongCat-2.0을 바탕으로 시각 이해와 에이전트 코딩 능력을 강화했으며, 복잡한 코드베이스 개발과 전체 프로젝트 빌드를 위해 긴 시퀀스와 대규모 강화학습으로 훈련했다고 밝혔습니다.

모델은 시각 정보를 여러 수준의 이산 토큰으로 바꿔 이미지와 텍스트 입력을 공통 형식으로 처리합니다. 네이티브 해상도 시각 토큰화, 오프라인 전처리, 기반 모델과 함께 학습한 시각 임베딩을 결합했습니다. LongCat은 이 설계가 시각 코딩, 창작 디자인, 3차원 작업을 지원한다고 설명했습니다. 평균 활성 매개변수가 약 30억 개인 더 작은 혼합 전문가 모델의 t-SNE 시각화에서는 시각·텍스트 임베딩이 서로 얽힌 형태로 나타났으며, 회사는 이를 공유 의미 공간에 대한 예비 검증으로 제시했습니다.

LongCat의 학습 파이프라인은 코딩 과제, 상호작용 환경, 검증 가능한 테스트를 생성합니다. GitHub의 풀 리퀘스트와 연결된 이슈를 선별한 뒤 에이전트가 과제에 주석을 붙이고 환경을 만듭니다. 실패에서 통과로 바뀌는 테스트와 통과 상태를 유지하는 테스트로 풀이를 점검하며, 실제 내부 코딩 과제와 평가 기준도 일상적인 엔지니어링 작업을 반영하도록 더했습니다. 롤아웃 통과율에 따라 과제 라벨을 다시 붙이고, 오탐과 미탐을 분석해 테스트를 갱신합니다. 여러 벤치마크의 과제와 작업 틀도 섞어 학습하며, LongCat은 이 방식이 과제 전반의 일반화 성능을 높인다고 밝혔습니다.

강화학습 효율을 높이기 위해 시스템은 비동기 부분 롤아웃을 사용합니다. 먼저 정해진 양보다 많이 표본을 모은 뒤 진행 중인 궤적을 중단해 저장하고, 다음 표본 추출 단계에서 이어갑니다. 사전에 계산한 통과율에 맞춰 표본 초과 수집량을 조정하고, 모든 롤아웃이 성공하거나 실패한 그룹은 걸러냅니다. 궤적이 서로 다른 과거 체크포인트의 출력을 포함할 수 있어, 표본 추출 정책과 현재 정책의 로그 확률 차이를 제한하고 오래된 표본의 편향을 줄이도록 토큰 기여도를 재조정합니다. LongCat은 과제 환경의 네트워크 접근을 막고 Git 기록과 캐시 파일을 제거하며, 대규모 언어 모델 판정기로 궤적의 편법 사용을 점검한다고 밝혔습니다. 반복적인 추론과 도구 호출에는 불이익을 주고 성공 표본 사이의 보상도 재분배해 과도한 사고와 빠르게 늘어나는 응답 길이에 대응합니다.

LongCat-2.5는 에이전트 기능, 추론, 상호작용을 위한 LongCat-2.0의 전문가 그룹을 유지합니다. 여기에는 여러 차례 대화하며 과제를 수행하는 능력, 한 차례 추론, 세부 지시 이행, 안전성이 포함됩니다. 여러 교사 모델을 활용한 학습에서는 학생 모델이 온라인으로 과제를 표본 추출하고, 분야별 전문가가 전체 어휘 KL 발산으로 학생을 훈련합니다. 교사의 응답을 고정 길이 구간으로 나눠 접두 구간을 만들고 학생의 자체 표본 추출도 같은 길이로 제한합니다. 같은 추론 엔진에서 교사 궤적의 접두 구간을 묶어 사전 입력 계산과 KV 캐시를 공유하며, 트리 어텐션으로 교사 궤적과 학생 표본을 한 번의 순전파·역전파 과정에서 처리합니다.

긴 문맥 학습은 가속기당 메모리가 80GB 미만인 중국산 AI 가속기에서 실행됩니다. LongCat은 병렬 그룹을 슈퍼노드 네트워크 배치에 맞추고 하이브리드 어휘 병렬화로 메모리 사용을 줄였습니다. 동적 전문가 복제는 전문가 병렬 처리의 부하 불균형이 설정된 임계값을 넘을 때만 작동합니다. 이중 분할 FSDP는 각 슈퍼노드 안에서 모델 매개변수를 나눠 처리하고, FP32 마스터 가중치와 옵티마이저 상태도 FSDP 영역들에 걸쳐 추가로 분할합니다. 회사는 긴 시퀀스 지도 미세조정에서 DDP 기준보다 장치당 처리량이 86% 높았다고 보고했습니다.

LongCat은 병렬화 설정이 달라도 학습·추론 시스템이 토큰별 로그 확률을 비트 단위까지 동일하게 유지하며, 성능 저하는 거의 없다고 밝혔습니다. 긴 문맥 에이전트 롤아웃에는 사전 입력과 해독을 분리한 설정, 캐시 관리, 계층 간 사전 가져오기, 용량을 고려한 작업 배정을 사용합니다. 시험한 작업 부하에서는 사전 입력 대 해독 인스턴스 비율 3:2가 가장 좋은 성능을 냈습니다. 마지막으로 1조 6,000억 매개변수 혼합 전문가 모델을 위한 W4A4 추론 해법도 설명하며, 양자화 정확도와 저수준 커널, 추론 파이프라인을 함께 최적화했다고 밝혔습니다.

LongCat은 2026년 11월 1일 장기 에이전트 작업용 네이티브 멀티모달 모델 LongCat-2.5를 공개했습니다. 모델은 총 1조 6,000억 개 매개변수를 갖췄으며, 토큰마다 약 480억 개를 활성화합니다. 회사는 LongCat-2.0을 바탕으로 시각 이해와 에이전트 코딩 능력을 강화했으며, 복잡한 코드베이스 개발과 전체 프로젝트 빌드를 위해 긴 시퀀스와 대규모 강화학습으로 훈련했다고 밝혔습니다.

모델은 시각 정보를 여러 수준의 이산 토큰으로 바꿔 이미지와 텍스트 입력을 공통 형식으로 처리합니다. 네이티브 해상도 시각 토큰화, 오프라인 전처리, 기반 모델과 함께 학습한 시각 임베딩을 결합했습니다. LongCat은 이 설계가 시각 코딩, 창작 디자인, 3차원 작업을 지원한다고 설명했습니다. 평균 활성 매개변수가 약 30억 개인 더 작은 혼합 전문가 모델의 t-SNE 시각화에서는 시각·텍스트 임베딩이 서로 얽힌 형태로 나타났으며, 회사는 이를 공유 의미 공간에 대한 예비 검증으로 제시했습니다.

LongCat의 학습 파이프라인은 코딩 과제, 상호작용 환경, 검증 가능한 테스트를 생성합니다. GitHub의 풀 리퀘스트와 연결된 이슈를 선별한 뒤 에이전트가 과제에 주석을 붙이고 환경을 만듭니다. 실패에서 통과로 바뀌는 테스트와 통과 상태를 유지하는 테스트로 풀이를 점검하며, 실제 내부 코딩 과제와 평가 기준도 일상적인 엔지니어링 작업을 반영하도록 더했습니다. 롤아웃 통과율에 따라 과제 라벨을 다시 붙이고, 오탐과 미탐을 분석해 테스트를 갱신합니다. 여러 벤치마크의 과제와 작업 틀도 섞어 학습하며, LongCat은 이 방식이 과제 전반의 일반화 성능을 높인다고 밝혔습니다.

강화학습 효율을 높이기 위해 시스템은 비동기 부분 롤아웃을 사용합니다. 먼저 정해진 양보다 많이 표본을 모은 뒤 진행 중인 궤적을 중단해 저장하고, 다음 표본 추출 단계에서 이어갑니다. 사전에 계산한 통과율에 맞춰 표본 초과 수집량을 조정하고, 모든 롤아웃이 성공하거나 실패한 그룹은 걸러냅니다. 궤적이 서로 다른 과거 체크포인트의 출력을 포함할 수 있어, 표본 추출 정책과 현재 정책의 로그 확률 차이를 제한하고 오래된 표본의 편향을 줄이도록 토큰 기여도를 재조정합니다. LongCat은 과제 환경의 네트워크 접근을 막고 Git 기록과 캐시 파일을 제거하며, 대규모 언어 모델 판정기로 궤적의 편법 사용을 점검한다고 밝혔습니다. 반복적인 추론과 도구 호출에는 불이익을 주고 성공 표본 사이의 보상도 재분배해 과도한 사고와 빠르게 늘어나는 응답 길이에 대응합니다.

LongCat-2.5는 에이전트 기능, 추론, 상호작용을 위한 LongCat-2.0의 전문가 그룹을 유지합니다. 여기에는 여러 차례 대화하며 과제를 수행하는 능력, 한 차례 추론, 세부 지시 이행, 안전성이 포함됩니다. 여러 교사 모델을 활용한 학습에서는 학생 모델이 온라인으로 과제를 표본 추출하고, 분야별 전문가가 전체 어휘 KL 발산으로 학생을 훈련합니다. 교사의 응답을 고정 길이 구간으로 나눠 접두 구간을 만들고 학생의 자체 표본 추출도 같은 길이로 제한합니다. 같은 추론 엔진에서 교사 궤적의 접두 구간을 묶어 사전 입력 계산과 KV 캐시를 공유하며, 트리 어텐션으로 교사 궤적과 학생 표본을 한 번의 순전파·역전파 과정에서 처리합니다.

긴 문맥 학습은 가속기당 메모리가 80GB 미만인 중국산 AI 가속기에서 실행됩니다. LongCat은 병렬 그룹을 슈퍼노드 네트워크 배치에 맞추고 하이브리드 어휘 병렬화로 메모리 사용을 줄였습니다. 동적 전문가 복제는 전문가 병렬 처리의 부하 불균형이 설정된 임계값을 넘을 때만 작동합니다. 이중 분할 FSDP는 각 슈퍼노드 안에서 모델 매개변수를 나눠 처리하고, FP32 마스터 가중치와 옵티마이저 상태도 FSDP 영역들에 걸쳐 추가로 분할합니다. 회사는 긴 시퀀스 지도 미세조정에서 DDP 기준보다 장치당 처리량이 86% 높았다고 보고했습니다.

LongCat은 병렬화 설정이 달라도 학습·추론 시스템이 토큰별 로그 확률을 비트 단위까지 동일하게 유지하며, 성능 저하는 거의 없다고 밝혔습니다. 긴 문맥 에이전트 롤아웃에는 사전 입력과 해독을 분리한 설정, 캐시 관리, 계층 간 사전 가져오기, 용량을 고려한 작업 배정을 사용합니다. 시험한 작업 부하에서는 사전 입력 대 해독 인스턴스 비율 3:2가 가장 좋은 성능을 냈습니다. 마지막으로 1조 6,000억 매개변수 혼합 전문가 모델을 위한 W4A4 추론 해법도 설명하며, 양자화 정확도와 저수준 커널, 추론 파이프라인을 함께 최적화했다고 밝혔습니다.