Google Kubernetes Engine(GKE)에서 Spot VM이나 Dynamic Workload Scheduler를 통해 AI 워크로드를 운영하는 사용자는 중단 발생 시 데이터 손실을 방지하기 위한 탄력적인 아키텍처를 설계해야 한다. 구글 클라우드가 Spot VM을 회수할 때 시스템은 ACPI 신호를 발생시키며, 이를 쿠버네티스가 컨테이너를 위한 SIGTERM 신호로 변환한다. 이때 애플리케이션은 15초의 유예 기간 내에 데이터 처리를 중단하고 메모리 내 데이터를 디스크에 기록한 뒤, 최종 상태를 저장하고 종료 상태 코드 0으로 마무리해야 한다.

개발자는 모델 가중치와 학습 상태를 리전별 Cloud Storage 버킷에 저장하는 등 강력한 체크포인팅을 구현해야 한다. 외부 체크포인트에서 작업을 재개하는 것이 처음부터 다시 시작하는 것보다 훨씬 효율적이다. 또한 동일한 작업을 반복해도 결과가 같은 멱등성(Idempotency)을 갖춘 파이프라인을 구축해 데이터 중복을 방지해야 한다. 고유 식별자를 기반으로 UPSERT 데이터베이스 작업을 수행하면, 포드 재스케줄링 시 작업이 중복 생성되는 현상을 막을 수 있다.

대규모 배치 처리나 추론 작업 시에는 작업 큐를 분리해 실패를 관리하는 것이 필수적이다. 정적 파일을 통해 진행 상황을 추적하는 모놀리식 스크립트 대신 Pub/Sub과 같은 메시지 브로커를 활용해 작업을 배분하는 방식이 권장된다. 워커 포드는 큐에서 작업을 가져와 처리가 안전하게 완료된 후 응답(ACK)을 보낸다. 만약 응답을 보내기 전에 노드가 선점되더라도 메시지는 큐에 남아 다른 포드가 처리할 수 있으므로 데이터 손실이 발생하지 않는다. 이러한 아키텍처 전략은 비용 효율적인 컴퓨팅 자원을 활용하면서도 중요한 AI 작업의 운영 안정성을 보장한다.

Google Kubernetes Engine(GKE)에서 Spot VM이나 Dynamic Workload Scheduler를 통해 AI 워크로드를 운영하는 사용자는 중단 발생 시 데이터 손실을 방지하기 위한 탄력적인 아키텍처를 설계해야 한다. 구글 클라우드가 Spot VM을 회수할 때 시스템은 ACPI 신호를 발생시키며, 이를 쿠버네티스가 컨테이너를 위한 SIGTERM 신호로 변환한다. 이때 애플리케이션은 15초의 유예 기간 내에 데이터 처리를 중단하고 메모리 내 데이터를 디스크에 기록한 뒤, 최종 상태를 저장하고 종료 상태 코드 0으로 마무리해야 한다.

개발자는 모델 가중치와 학습 상태를 리전별 Cloud Storage 버킷에 저장하는 등 강력한 체크포인팅을 구현해야 한다. 외부 체크포인트에서 작업을 재개하는 것이 처음부터 다시 시작하는 것보다 훨씬 효율적이다. 또한 동일한 작업을 반복해도 결과가 같은 멱등성(Idempotency)을 갖춘 파이프라인을 구축해 데이터 중복을 방지해야 한다. 고유 식별자를 기반으로 UPSERT 데이터베이스 작업을 수행하면, 포드 재스케줄링 시 작업이 중복 생성되는 현상을 막을 수 있다.

대규모 배치 처리나 추론 작업 시에는 작업 큐를 분리해 실패를 관리하는 것이 필수적이다. 정적 파일을 통해 진행 상황을 추적하는 모놀리식 스크립트 대신 Pub/Sub과 같은 메시지 브로커를 활용해 작업을 배분하는 방식이 권장된다. 워커 포드는 큐에서 작업을 가져와 처리가 안전하게 완료된 후 응답(ACK)을 보낸다. 만약 응답을 보내기 전에 노드가 선점되더라도 메시지는 큐에 남아 다른 포드가 처리할 수 있으므로 데이터 손실이 발생하지 않는다. 이러한 아키텍처 전략은 비용 효율적인 컴퓨팅 자원을 활용하면서도 중요한 AI 작업의 운영 안정성을 보장한다.