Together AI, GPU 클러스터 자동 복구 정식 제공

Together AI는 GPU 클러스터의 하드웨어·소프트웨어 오류를 감지하고 복구 방안을 제안하는 자동 복구 시스템을 일반 제공한다고 밝혔습니다. 고객은 어떤 조치에 승인이 필요한지, 실행 중인 작업을 언제 중단할 수 있는지 설정할 수 있습니다. 회사에 따르면 고객과 내부 추론 플랫폼은 올해 초 기능 발표 이후 이 시스템을 사용해 왔습니다. 건강 상태 점검, 오류별·노드별 승인 정책, 작업이 끝날 때까지 기다리는 설정, 단계별 상향 규칙, 안전 제한이 포함되며 API나 콘솔에서 복구할 수 있습니다. 고객 탐지 시스템이 작성하는 노드 레이블 기반 복구 요청은 미리보기 단계입니다.

시스템은 가상머신 내부와 물리 호스트 양쪽의 오류를 점검합니다. 가상머신에서는 커널 로그를 감시해 Xid 오류와 GPU의 PCIe 버스 연결 해제를 찾고, DCGM으로는 더블 비트 ECC 오류(메모리 오류를 감지·수정하는 코드), 행 재매핑 실패, PCIe 재전송률과 열 제한에 따른 속도 저하를 확인합니다. 노드 문제 감지기는 읽기 전용 파일 시스템, XFS 종료, 커널 교착 상태, kubelet 또는 containerd의 반복 재시작을 감지하며, Slurm 내보내기 도구는 DOWN 또는 DRAIN 상태로 표시된 노드를 보고합니다. 호스트에서는 인피니밴드 링크와 호스트 연결 상태를 확인합니다. 경보에는 쉬운 설명과 기계 판독용 증거가 담기며, 제어 평면은 이를 변경하지 않고 콘솔·API·알림으로 전달합니다. 연결된 복구 조치가 없는 경보는 기록해 지원팀에 보내고, 디스크 공간 부족 같은 문제는 재부팅 없이 기록만 합니다.

복구를 실행하려면 건강 상태 점검 실패가 먼저 확인돼야 합니다. 고객은 복구 제안을 승인 대기 상태로 두거나, 특정 오류에 자동 조치를 허용할 수 있으며 개별 Xid 코드별 동의도 설정할 수 있습니다. 예를 들어 Xid 119와 95에는 재부팅을 자동 승인하고 마이그레이션은 승인을 받도록 설정할 수 있습니다. GPU를 요청하는 Kubernetes 파드가 없거나 Slurm 할당이 끝날 때까지 복구를 기다리게 할 수 있습니다. 기본 최대 대기 시간은 2시간이며 최대 24시간으로 제한됩니다. 실행 중인 작업을 중단하지 않도록 설정하면 시간 제한이 사라집니다. 각 복구에는 요청자와 승인자, 적용된 규칙, 실행 시간이 기록됩니다.

고객은 API나 콘솔로 복구를 요청할 수 있으며, 미리보기에서는 자체 탐지기가 작성한 노드 레이블과 주석으로도 요청할 수 있습니다. 요청 가능한 조치는 재부팅, 신속 재구축, 마이그레이션이며 노드 제거는 사람이 직접 처리해야 합니다. 탐지기 이름과 요청 ID로 반복 탐지에 따른 중복 복구를 막습니다. 요청에도 증거 확인, 용량 확인, 클러스터별 한도가 적용됩니다. 복구는 노드 격리, 대기, 작업 비우기, 조치, 복귀 순으로 진행됩니다. 재부팅은 로컬 임시 저장 공간과 임시 데이터를 보존하며 가상머신을 다시 시작합니다. 신속 재구축은 깨끗한 이미지로 가상머신을 다시 만들어 로컬 데이터를 잃게 하고, 마이그레이션은 다른 하드웨어에 다시 구축한 뒤 기존 호스트를 검사하도록 보냅니다. 제거하면 노드를 수리하거나 교체하도록 보냅니다.

같은 장비에서 같은 오류가 같은 조치 뒤 두 차례 되풀이되면 복구 단계가 올라갑니다. 세 번째 재부팅 권고는 신속 재구축으로, 세 번째 신속 재구축 권고는 마이그레이션으로 바뀝니다. 1주일보다 오래된 시도, 취소된 권고, 저절로 사라진 오류는 횟수에 포함되지 않습니다. 마이그레이션에는 현재 활성화된 중대 경보나 같은 장비에서 지난 10일 안에 기록된 중대 경보가 필요하며, 증거가 없으면 신속 재구축을 선택합니다. GPU 전원을 끊어야 할 수 있는 Xid 79 등의 오류에 대한 호스트 전원 순환은 미리보기 단계입니다. 마이그레이션용 예비 장비 용량을 미리 확보할 수도 있습니다.

여러 장비에서 동시에 발생하는 오류의 피해를 줄이기 위해 경보는 설정된 시간 동안 지속돼야 하며, 복구 후에는 약 30분의 대기 시간이 적용됩니다. 동시 복구 한도는 클러스터 크기에 따라 정하고 노드 풀마다 한 번에 한 건만 처리합니다. 자동 복구가 한꺼번에 몰리면 회로 차단기가 이를 중단합니다. 각 복구는 노드 한 대만 대상으로 하며, 경보가 먼저 해소되면 권고는 사라집니다. 쓰기 작업은 멱등성(반복 실행해도 결과가 한 번 실행한 것과 같은 성질)을 보장하므로 제어 평면 복제본 두 개가 같은 노드를 처리해도 복구는 한 번만 생성됩니다.

마이그레이션이나 제거 뒤 비워진 물리 장비는 풀로 돌아가기 전에 GPU, NCCL, 인피니밴드, 저장 장치 검사를 자동으로 받습니다. 검사를 통과하면 티켓 없이 장비를 풀에 돌려보내고, 명확한 실패가 나오면 검사 결과와 로그를 첨부해 하드웨어 티켓을 발행합니다. 검사가 중단되면 장비는 이전 상태로 복구됩니다. Together AI는 가속기 공급업체가 달라도 이 복구 절차를 적용할 수 있도록 설계했으며, 오류 감지와 진단 검사는 공급업체별로 제공한다고 밝혔습니다.

Together AI는 GPU 클러스터의 하드웨어·소프트웨어 오류를 감지하고 복구 방안을 제안하는 자동 복구 시스템을 일반 제공한다고 밝혔습니다. 고객은 어떤 조치에 승인이 필요한지, 실행 중인 작업을 언제 중단할 수 있는지 설정할 수 있습니다. 회사에 따르면 고객과 내부 추론 플랫폼은 올해 초 기능 발표 이후 이 시스템을 사용해 왔습니다. 건강 상태 점검, 오류별·노드별 승인 정책, 작업이 끝날 때까지 기다리는 설정, 단계별 상향 규칙, 안전 제한이 포함되며 API나 콘솔에서 복구할 수 있습니다. 고객 탐지 시스템이 작성하는 노드 레이블 기반 복구 요청은 미리보기 단계입니다.

시스템은 가상머신 내부와 물리 호스트 양쪽의 오류를 점검합니다. 가상머신에서는 커널 로그를 감시해 Xid 오류와 GPU의 PCIe 버스 연결 해제를 찾고, DCGM으로는 더블 비트 ECC 오류(메모리 오류를 감지·수정하는 코드), 행 재매핑 실패, PCIe 재전송률과 열 제한에 따른 속도 저하를 확인합니다. 노드 문제 감지기는 읽기 전용 파일 시스템, XFS 종료, 커널 교착 상태, kubelet 또는 containerd의 반복 재시작을 감지하며, Slurm 내보내기 도구는 DOWN 또는 DRAIN 상태로 표시된 노드를 보고합니다. 호스트에서는 인피니밴드 링크와 호스트 연결 상태를 확인합니다. 경보에는 쉬운 설명과 기계 판독용 증거가 담기며, 제어 평면은 이를 변경하지 않고 콘솔·API·알림으로 전달합니다. 연결된 복구 조치가 없는 경보는 기록해 지원팀에 보내고, 디스크 공간 부족 같은 문제는 재부팅 없이 기록만 합니다.

복구를 실행하려면 건강 상태 점검 실패가 먼저 확인돼야 합니다. 고객은 복구 제안을 승인 대기 상태로 두거나, 특정 오류에 자동 조치를 허용할 수 있으며 개별 Xid 코드별 동의도 설정할 수 있습니다. 예를 들어 Xid 119와 95에는 재부팅을 자동 승인하고 마이그레이션은 승인을 받도록 설정할 수 있습니다. GPU를 요청하는 Kubernetes 파드가 없거나 Slurm 할당이 끝날 때까지 복구를 기다리게 할 수 있습니다. 기본 최대 대기 시간은 2시간이며 최대 24시간으로 제한됩니다. 실행 중인 작업을 중단하지 않도록 설정하면 시간 제한이 사라집니다. 각 복구에는 요청자와 승인자, 적용된 규칙, 실행 시간이 기록됩니다.

고객은 API나 콘솔로 복구를 요청할 수 있으며, 미리보기에서는 자체 탐지기가 작성한 노드 레이블과 주석으로도 요청할 수 있습니다. 요청 가능한 조치는 재부팅, 신속 재구축, 마이그레이션이며 노드 제거는 사람이 직접 처리해야 합니다. 탐지기 이름과 요청 ID로 반복 탐지에 따른 중복 복구를 막습니다. 요청에도 증거 확인, 용량 확인, 클러스터별 한도가 적용됩니다. 복구는 노드 격리, 대기, 작업 비우기, 조치, 복귀 순으로 진행됩니다. 재부팅은 로컬 임시 저장 공간과 임시 데이터를 보존하며 가상머신을 다시 시작합니다. 신속 재구축은 깨끗한 이미지로 가상머신을 다시 만들어 로컬 데이터를 잃게 하고, 마이그레이션은 다른 하드웨어에 다시 구축한 뒤 기존 호스트를 검사하도록 보냅니다. 제거하면 노드를 수리하거나 교체하도록 보냅니다.

같은 장비에서 같은 오류가 같은 조치 뒤 두 차례 되풀이되면 복구 단계가 올라갑니다. 세 번째 재부팅 권고는 신속 재구축으로, 세 번째 신속 재구축 권고는 마이그레이션으로 바뀝니다. 1주일보다 오래된 시도, 취소된 권고, 저절로 사라진 오류는 횟수에 포함되지 않습니다. 마이그레이션에는 현재 활성화된 중대 경보나 같은 장비에서 지난 10일 안에 기록된 중대 경보가 필요하며, 증거가 없으면 신속 재구축을 선택합니다. GPU 전원을 끊어야 할 수 있는 Xid 79 등의 오류에 대한 호스트 전원 순환은 미리보기 단계입니다. 마이그레이션용 예비 장비 용량을 미리 확보할 수도 있습니다.

여러 장비에서 동시에 발생하는 오류의 피해를 줄이기 위해 경보는 설정된 시간 동안 지속돼야 하며, 복구 후에는 약 30분의 대기 시간이 적용됩니다. 동시 복구 한도는 클러스터 크기에 따라 정하고 노드 풀마다 한 번에 한 건만 처리합니다. 자동 복구가 한꺼번에 몰리면 회로 차단기가 이를 중단합니다. 각 복구는 노드 한 대만 대상으로 하며, 경보가 먼저 해소되면 권고는 사라집니다. 쓰기 작업은 멱등성(반복 실행해도 결과가 한 번 실행한 것과 같은 성질)을 보장하므로 제어 평면 복제본 두 개가 같은 노드를 처리해도 복구는 한 번만 생성됩니다.

마이그레이션이나 제거 뒤 비워진 물리 장비는 풀로 돌아가기 전에 GPU, NCCL, 인피니밴드, 저장 장치 검사를 자동으로 받습니다. 검사를 통과하면 티켓 없이 장비를 풀에 돌려보내고, 명확한 실패가 나오면 검사 결과와 로그를 첨부해 하드웨어 티켓을 발행합니다. 검사가 중단되면 장비는 이전 상태로 복구됩니다. Together AI는 가속기 공급업체가 달라도 이 복구 절차를 적용할 수 있도록 설계했으며, 오류 감지와 진단 검사는 공급업체별로 제공한다고 밝혔습니다.