대규모 언어모델(LLM) 학습 과정에서 가중치 감쇠(Weight Decay)는 모델의 안정성을 유지하기 위한 필수적인 정규화 기법으로 활용되어 왔다. 그러나 아랍에미리트의 기술혁신연구소(TII) 소속 연구진은 이러한 방식이 가중치 노름의 비효율적인 평형 상태를 초래하여 모델의 잠재적 용량을 제한한다는 사실을 발견했다. 가중치가 무작위 그래디언트 노이즈로 인해 특정 범위 내에 갇히는 현상이 발생하면서 결과적으로 모델이 최적의 성능을 발휘하지 못하게 되는 것이다.

이에 따라 연구진은 행렬 전체뿐만 아니라 행과 열 단위에 개별적으로 적용할 수 있는 '학습 가능한 승수(Learnable Multipliers)'를 도입하는 새로운 방안을 제시했다. 이 기법은 모델이 사전 학습 과정에서 스스로 최적의 스케일을 찾아가도록 허용함으로써 기존의 제약으로부터 가중치를 해방시킨다. 특히 이는 기존의 최대 업데이트 매개변수화(muP) 설정을 보다 일반화한 형태이며, 고정된 승수 대신 데이터와 학습 상태에 따라 동적으로 변화하는 더욱 유연한 프레임워크를 제공한다는 장점이 있다.

또한 이 방식은 하이퍼파라미터 선정에 드는 막대한 계산 비용과 인적 자원을 획기적으로 줄여준다는 점에서 실용적인 가치가 매우 높다. 기존 muP 방식은 최적의 승수 값을 찾기 위해 방대한 사전 튜닝 과정이 필요했지만, 학습 가능한 승수는 모델 내부에서 스스로 적응하기 때문에 수동 설정을 최소화할 수 있다. 실제로 다양한 벤치마크 테스트 결과 하위 평가 항목 전반에서 상당한 성능 향상이 관찰되었으며, 이는 모델의 효율적인 확장에 직접적인 기여를 할 수 있음을 시사한다.

한편 연구진은 널리 쓰이는 Adam 최적화 도구뿐만 아니라 최신 Muon 최적화 도구 환경에서도 일관된 성능 개선 효과를 입증했다. 특히 주목할 만한 점은 기존 Adam 최적화 도구에 이 기술을 적용했을 때 얻은 성능 향상폭이, 구조적으로 더 진보한 Muon으로 최적화 도구 자체를 교체했을 때의 효과와 대등한 수준이었다는 사실이다. 이러한 결과는 가중치 스케일링이 단순한 보조 수단을 넘어 현대 인공지능 모델의 최적화 효율과 최종 성능을 결정짓는 핵심적인 아키텍처 요소임을 명확히 보여준다.

대규모 언어모델(LLM) 학습 과정에서 가중치 감쇠(Weight Decay)는 모델의 안정성을 유지하기 위한 필수적인 정규화 기법으로 활용되어 왔다. 그러나 아랍에미리트의 기술혁신연구소(TII) 소속 연구진은 이러한 방식이 가중치 노름의 비효율적인 평형 상태를 초래하여 모델의 잠재적 용량을 제한한다는 사실을 발견했다. 가중치가 무작위 그래디언트 노이즈로 인해 특정 범위 내에 갇히는 현상이 발생하면서 결과적으로 모델이 최적의 성능을 발휘하지 못하게 되는 것이다.

이에 따라 연구진은 행렬 전체뿐만 아니라 행과 열 단위에 개별적으로 적용할 수 있는 '학습 가능한 승수(Learnable Multipliers)'를 도입하는 새로운 방안을 제시했다. 이 기법은 모델이 사전 학습 과정에서 스스로 최적의 스케일을 찾아가도록 허용함으로써 기존의 제약으로부터 가중치를 해방시킨다. 특히 이는 기존의 최대 업데이트 매개변수화(muP) 설정을 보다 일반화한 형태이며, 고정된 승수 대신 데이터와 학습 상태에 따라 동적으로 변화하는 더욱 유연한 프레임워크를 제공한다는 장점이 있다.

또한 이 방식은 하이퍼파라미터 선정에 드는 막대한 계산 비용과 인적 자원을 획기적으로 줄여준다는 점에서 실용적인 가치가 매우 높다. 기존 muP 방식은 최적의 승수 값을 찾기 위해 방대한 사전 튜닝 과정이 필요했지만, 학습 가능한 승수는 모델 내부에서 스스로 적응하기 때문에 수동 설정을 최소화할 수 있다. 실제로 다양한 벤치마크 테스트 결과 하위 평가 항목 전반에서 상당한 성능 향상이 관찰되었으며, 이는 모델의 효율적인 확장에 직접적인 기여를 할 수 있음을 시사한다.

한편 연구진은 널리 쓰이는 Adam 최적화 도구뿐만 아니라 최신 Muon 최적화 도구 환경에서도 일관된 성능 개선 효과를 입증했다. 특히 주목할 만한 점은 기존 Adam 최적화 도구에 이 기술을 적용했을 때 얻은 성능 향상폭이, 구조적으로 더 진보한 Muon으로 최적화 도구 자체를 교체했을 때의 효과와 대등한 수준이었다는 사실이다. 이러한 결과는 가중치 스케일링이 단순한 보조 수단을 넘어 현대 인공지능 모델의 최적화 효율과 최종 성능을 결정짓는 핵심적인 아키텍처 요소임을 명확히 보여준다.