Microsoft 연구진이 6월 15일 학술지 Joule에 발표한 동료 평가 연구에 따르면, 대규모 AI 추론의 에너지 효율이 이전에 보고된 것보다 4~20배 높은 것으로 나타났다. 연구진은 대규모언어모델(LLM)에 대한 일반적인 질의가 0.16~0.60와트시의 전력을 소비한다고 추정했는데, 이는 40와트 PC를 15~60초 동안 구동하는 것과 맞먹는 수준이다. 물 소비량 또한 질의당 0.0~0.067mL로 추산되어 물 한 방울보다 적은 양을 기록했다.

AI 시스템의 효율성은 비선형적으로 개선되며, 시스템 규모가 커질수록 자원 활용도는 높아진다. 매일 10억 건의 대화형 질의를 처리할 때 기본 전력 사용량은 약 0.7기가와트시(GWh) 수준이나, 최적화 기법을 적용하면 이 소비량을 0.3GWh 미만으로 절반 이상 줄일 수 있다. 실제로 코드 생성이나 다단계 추론과 같은 복잡한 작업에서도 이러한 효율 개선은 전체 에너지 수요를 완화하는 효과를 유지한다.

Microsoft는 이러한 성과가 모델 최적화, 지능형 서비스 오케스트레이션, 하드웨어 발전이라는 세 가지 투자 영역 덕분이라고 분석했다. Fara-7B나 Phi와 같은 특화 모델을 Azure AI Foundry의 지능형 모델 라우팅과 결합하면 에너지 사용량을 5~10배 줄일 수 있다. 또한, 분산형 서비스와 같은 최적화 기술은 긴 질의 작업에서 최대 5배의 전력 절감을 가능케 한다. 특히 Maia 200과 같은 차세대 맞춤형 하드웨어는 기존 GPU 표준 대비 질의당 1.5~2.5배의 에너지 감소 효과를 제공한다.

이러한 기술적 요소를 종합할 때, 이번 연구는 향후 질의당 에너지 소비를 8~20배까지 줄일 수 있을 것으로 전망했다. 결과적으로 AI 규모 확장과 에너지·물 사용량이 비례적으로 증가하지 않는다는 점을 시사한다. Microsoft는 제로 워터 데이터센터 설계와 고효율 추론 플랫폼 도입을 지속하여 AI 접근성 확대와 환경 지속가능성이라는 두 목표를 조화시킬 계획이다.

Microsoft 연구진이 6월 15일 학술지 Joule에 발표한 동료 평가 연구에 따르면, 대규모 AI 추론의 에너지 효율이 이전에 보고된 것보다 4~20배 높은 것으로 나타났다. 연구진은 대규모언어모델(LLM)에 대한 일반적인 질의가 0.16~0.60와트시의 전력을 소비한다고 추정했는데, 이는 40와트 PC를 15~60초 동안 구동하는 것과 맞먹는 수준이다. 물 소비량 또한 질의당 0.0~0.067mL로 추산되어 물 한 방울보다 적은 양을 기록했다.

AI 시스템의 효율성은 비선형적으로 개선되며, 시스템 규모가 커질수록 자원 활용도는 높아진다. 매일 10억 건의 대화형 질의를 처리할 때 기본 전력 사용량은 약 0.7기가와트시(GWh) 수준이나, 최적화 기법을 적용하면 이 소비량을 0.3GWh 미만으로 절반 이상 줄일 수 있다. 실제로 코드 생성이나 다단계 추론과 같은 복잡한 작업에서도 이러한 효율 개선은 전체 에너지 수요를 완화하는 효과를 유지한다.

Microsoft는 이러한 성과가 모델 최적화, 지능형 서비스 오케스트레이션, 하드웨어 발전이라는 세 가지 투자 영역 덕분이라고 분석했다. Fara-7B나 Phi와 같은 특화 모델을 Azure AI Foundry의 지능형 모델 라우팅과 결합하면 에너지 사용량을 5~10배 줄일 수 있다. 또한, 분산형 서비스와 같은 최적화 기술은 긴 질의 작업에서 최대 5배의 전력 절감을 가능케 한다. 특히 Maia 200과 같은 차세대 맞춤형 하드웨어는 기존 GPU 표준 대비 질의당 1.5~2.5배의 에너지 감소 효과를 제공한다.

이러한 기술적 요소를 종합할 때, 이번 연구는 향후 질의당 에너지 소비를 8~20배까지 줄일 수 있을 것으로 전망했다. 결과적으로 AI 규모 확장과 에너지·물 사용량이 비례적으로 증가하지 않는다는 점을 시사한다. Microsoft는 제로 워터 데이터센터 설계와 고효율 추론 플랫폼 도입을 지속하여 AI 접근성 확대와 환경 지속가능성이라는 두 목표를 조화시킬 계획이다.