구글의 엔지니어인 토드 립콘(Todd Lipcon)과 매니쉬 푸로히트(Manish Purohit)가 클라우드 인프라 비용을 최소화하기 위한 선형 탄력적 캐싱 기술을 공개했다. 이 기법은 워크로드 요구 사항에 따라 캐시 메모리 크기를 동적으로 조정한다. 메모리 비용이 사용 규모와 시간에 비례한다는 점에 착안해, 데이터를 RAM에 유지할지 아니면 비용을 절감하기 위해 삭제할지 판단하는 '스키 대여 문제(ski rental problem)' 알고리즘을 활용한다.

기존의 캐시 관리는 고정된 메모리 할당과 '최근 가장 적게 사용된 항목(LRU)'과 같은 정적 정책에 의존해 자원 효율성이 떨어지는 경우가 많았다. 반면 선형 탄력적 캐싱은 기계 학습 모델을 통해 각 요청마다 최적의 TTL 값을 부여한다. 이를 통해 시스템은 메모리 점유율과 캐시 미스로 인한 지연 시간 사이의 균형을 효과적으로 유지한다.

구글의 전 세계 분산 데이터베이스인 Spanner에서 진행된 테스트 결과, 메모리 사용량은 15.5% 감소했고 캐시 미스는 5.5% 증가했다. 결과적으로 캐시 인프라의 총소유비용(TCO)은 약 5% 하락했다. 이 알고리즘은 비용을 고려하여 설계되었기에 캐시 미스가 증가하더라도 검색 비용이 저렴한 데이터 위주로 발생하여 실제 입출력(I/O) 비용에는 0.5%의 영향만 미쳤다.

연구팀은 구글 내부 인프라를 넘어 범용성을 확보하기 위해 GDSF 정책을 기준점으로 삼아 공개된 캐시 트레이스 환경에서 성능을 검증했다. 예측 과정에서 가벼운 얕은 의사결정 나무를 사용하여 초당 수십억 건의 요청도 원활하게 처리할 수 있다. 이번 연구는 클라우드 환경이 종량제 모델로 전환됨에 따라 핵심 인프라에 단순한 기계 학습 모델을 적용하는 것만으로도 경제적 효율성을 크게 높일 수 있음을 시사한다.

구글의 엔지니어인 토드 립콘(Todd Lipcon)과 매니쉬 푸로히트(Manish Purohit)가 클라우드 인프라 비용을 최소화하기 위한 선형 탄력적 캐싱 기술을 공개했다. 이 기법은 워크로드 요구 사항에 따라 캐시 메모리 크기를 동적으로 조정한다. 메모리 비용이 사용 규모와 시간에 비례한다는 점에 착안해, 데이터를 RAM에 유지할지 아니면 비용을 절감하기 위해 삭제할지 판단하는 '스키 대여 문제(ski rental problem)' 알고리즘을 활용한다.

기존의 캐시 관리는 고정된 메모리 할당과 '최근 가장 적게 사용된 항목(LRU)'과 같은 정적 정책에 의존해 자원 효율성이 떨어지는 경우가 많았다. 반면 선형 탄력적 캐싱은 기계 학습 모델을 통해 각 요청마다 최적의 TTL 값을 부여한다. 이를 통해 시스템은 메모리 점유율과 캐시 미스로 인한 지연 시간 사이의 균형을 효과적으로 유지한다.

구글의 전 세계 분산 데이터베이스인 Spanner에서 진행된 테스트 결과, 메모리 사용량은 15.5% 감소했고 캐시 미스는 5.5% 증가했다. 결과적으로 캐시 인프라의 총소유비용(TCO)은 약 5% 하락했다. 이 알고리즘은 비용을 고려하여 설계되었기에 캐시 미스가 증가하더라도 검색 비용이 저렴한 데이터 위주로 발생하여 실제 입출력(I/O) 비용에는 0.5%의 영향만 미쳤다.

연구팀은 구글 내부 인프라를 넘어 범용성을 확보하기 위해 GDSF 정책을 기준점으로 삼아 공개된 캐시 트레이스 환경에서 성능을 검증했다. 예측 과정에서 가벼운 얕은 의사결정 나무를 사용하여 초당 수십억 건의 요청도 원활하게 처리할 수 있다. 이번 연구는 클라우드 환경이 종량제 모델로 전환됨에 따라 핵심 인프라에 단순한 기계 학습 모델을 적용하는 것만으로도 경제적 효율성을 크게 높일 수 있음을 시사한다.