AI 산업계는 흔히 방대한 파라미터(매개변수) 수에 집착하는 경향이 있지만, Salesforce AI Research는 기업용 환경에서 크기가 곧 성능을 의미하지는 않는다고 강조한다. 가장 큰 걸림돌은 바로 '서비스 비용(cost to serve)'이다. 모델의 모든 파라미터는 입력되는 토큰마다 부동소수점 연산을 필요로 하기에, 모델 크기가 커질수록 배포에 필요한 연산력과 에너지 소비량 역시 기하급수적으로 늘어날 수밖에 없다.

성능은 단순히 크기에 비례하는 일차원적인 지표가 아니다. 특히 기술 지원이나 지식 추출과 같은 특정 비즈니스 영역에서는 고품질의 정제된 데이터로 학습된 소형 모델이 거대 모델의 능력을 충분히 따라잡거나 오히려 앞서기도 한다. Salesforce의 XGen 7B가 대표적인 사례로, 특화된 학습 전략을 통해 훨씬 더 많은 파라미터를 가진 모델보다 뛰어난 성과를 거두었다. 이러한 방식은 기업이 보유한 데이터를 안전하게 활용하면서도, 검증되지 않은 방대한 데이터셋에서 비롯되는 윤리적 문제까지 방지하는 효과가 있다.

결국 미래의 효율적인 AI는 여러 전문 소형 모델이 마치 하나의 팀처럼 협업하는 오케스트레이션 방식에 달려 있다. 정보 검색과 사용자 상호작용을 각각 다른 모델이 담당하게 함으로써 각 과정을 개별적으로 검증할 수 있기 때문이다. 이러한 모듈형 전략은 탄소 배출을 획기적으로 줄이는 동시에, 높은 책임성이 요구되는 기업용 애플리케이션에서 가장 중요한 요소인 '신뢰'를 구축하는 데 기여한다.

AI 산업계는 흔히 방대한 파라미터(매개변수) 수에 집착하는 경향이 있지만, Salesforce AI Research는 기업용 환경에서 크기가 곧 성능을 의미하지는 않는다고 강조한다. 가장 큰 걸림돌은 바로 '서비스 비용(cost to serve)'이다. 모델의 모든 파라미터는 입력되는 토큰마다 부동소수점 연산을 필요로 하기에, 모델 크기가 커질수록 배포에 필요한 연산력과 에너지 소비량 역시 기하급수적으로 늘어날 수밖에 없다.

성능은 단순히 크기에 비례하는 일차원적인 지표가 아니다. 특히 기술 지원이나 지식 추출과 같은 특정 비즈니스 영역에서는 고품질의 정제된 데이터로 학습된 소형 모델이 거대 모델의 능력을 충분히 따라잡거나 오히려 앞서기도 한다. Salesforce의 XGen 7B가 대표적인 사례로, 특화된 학습 전략을 통해 훨씬 더 많은 파라미터를 가진 모델보다 뛰어난 성과를 거두었다. 이러한 방식은 기업이 보유한 데이터를 안전하게 활용하면서도, 검증되지 않은 방대한 데이터셋에서 비롯되는 윤리적 문제까지 방지하는 효과가 있다.

결국 미래의 효율적인 AI는 여러 전문 소형 모델이 마치 하나의 팀처럼 협업하는 오케스트레이션 방식에 달려 있다. 정보 검색과 사용자 상호작용을 각각 다른 모델이 담당하게 함으로써 각 과정을 개별적으로 검증할 수 있기 때문이다. 이러한 모듈형 전략은 탄소 배출을 획기적으로 줄이는 동시에, 높은 책임성이 요구되는 기업용 애플리케이션에서 가장 중요한 요소인 '신뢰'를 구축하는 데 기여한다.