은행들, 비용 관리에 소형 AI 모델 활용

뱅크오브아메리카와 캐피털원 임원들은 뉴욕에서 열린 Evident AI Symposium에서 요청을 소형 AI 모델로 보내면 비용을 관리하면서, 더 복잡한 작업에는 성능이 높은 모델을 사용할 수 있다고 밝혔습니다. 뱅크오브아메리카는 내년 AI 예산을 두 배로 늘리고, AI 금융 비서 Erica를 통해 더 복잡한 대화를 처리하는 데 집중할 계획입니다. 최고기술정보책임자 하리 고팔크리슈난(Hari Gopalkrishnan)은 Erica의 조직 내 정보 기억 기능과 복잡한 거래 처리 능력도 개선하고 있다고 말했습니다. 그는 지난주 심포지엄에서 이 같은 계획을 밝혔습니다.

뱅크오브아메리카의 라우팅 계층 Orchestra는 요청을 유형별로 분류하는 소형 분류 모델을 사용해 각 질의를 가장 비용 효율적인 모델로 보냅니다. 고팔크리슈난은 토큰 지출을 관리하고 질의를 비용이 낮은 모델로 보내는 것이 효과적인 비용 관리 방법이라고 말했습니다. 은행은 기존 소형 언어 모델과 자체 미세 조정 모델을 유연하게 쓰려 하며, 단순한 결정에는 대형 언어 모델이 항상 필요한 것은 아니라고 그는 설명했습니다.

캐피털원은 독점 데이터로 미세 조정한 공개 가중치 모델을 더 작은 모델로 증류해 자동차 구매 과정을 돕는 다중 에이전트 애플리케이션 Chat Concierge에 적용했습니다. 최고 기업 AI 책임자 겸 수석 과학자 프렘 나타라잔(Prem Natarajan)은 소형 모델이 지연시간을 5배 줄이고 자동차 판매점 고객 참여를 50% 높였다고 밝혔습니다. Snowflake도 각 질의에 맞는 모델을 자동으로 고르는 동적 모델 라우팅 기능을 Cortex AI Gateway에 추가했습니다.

뱅크오브아메리카의 2027년을 향한 AI 전략에는 에이전트가 지정된 실행 시간 한도 안에서 작동하도록 하고, 여러 작업을 자율적으로 완료하지 못하게 하는 제한 장치가 포함됩니다. 고팔크리슈난은 은행이 계측 도구, 원격 측정, 피드백 순환 구조를 개발 중이라고 말했습니다. 캐피털원의 나타라잔은 AI를 지원하기 위해 데이터 역량을 계속 강화하겠다고 밝혔습니다. 그는 클라우드 기반 기술 체계와 수년간의 머신러닝 활용, 체계적으로 관리되는 데이터를 언급하며 필요할 때 아키텍처를 밑바닥부터 다시 구축하겠다고 말했습니다.

뱅크오브아메리카와 캐피털원 임원들은 뉴욕에서 열린 Evident AI Symposium에서 요청을 소형 AI 모델로 보내면 비용을 관리하면서, 더 복잡한 작업에는 성능이 높은 모델을 사용할 수 있다고 밝혔습니다. 뱅크오브아메리카는 내년 AI 예산을 두 배로 늘리고, AI 금융 비서 Erica를 통해 더 복잡한 대화를 처리하는 데 집중할 계획입니다. 최고기술정보책임자 하리 고팔크리슈난(Hari Gopalkrishnan)은 Erica의 조직 내 정보 기억 기능과 복잡한 거래 처리 능력도 개선하고 있다고 말했습니다. 그는 지난주 심포지엄에서 이 같은 계획을 밝혔습니다.

뱅크오브아메리카의 라우팅 계층 Orchestra는 요청을 유형별로 분류하는 소형 분류 모델을 사용해 각 질의를 가장 비용 효율적인 모델로 보냅니다. 고팔크리슈난은 토큰 지출을 관리하고 질의를 비용이 낮은 모델로 보내는 것이 효과적인 비용 관리 방법이라고 말했습니다. 은행은 기존 소형 언어 모델과 자체 미세 조정 모델을 유연하게 쓰려 하며, 단순한 결정에는 대형 언어 모델이 항상 필요한 것은 아니라고 그는 설명했습니다.

캐피털원은 독점 데이터로 미세 조정한 공개 가중치 모델을 더 작은 모델로 증류해 자동차 구매 과정을 돕는 다중 에이전트 애플리케이션 Chat Concierge에 적용했습니다. 최고 기업 AI 책임자 겸 수석 과학자 프렘 나타라잔(Prem Natarajan)은 소형 모델이 지연시간을 5배 줄이고 자동차 판매점 고객 참여를 50% 높였다고 밝혔습니다. Snowflake도 각 질의에 맞는 모델을 자동으로 고르는 동적 모델 라우팅 기능을 Cortex AI Gateway에 추가했습니다.

뱅크오브아메리카의 2027년을 향한 AI 전략에는 에이전트가 지정된 실행 시간 한도 안에서 작동하도록 하고, 여러 작업을 자율적으로 완료하지 못하게 하는 제한 장치가 포함됩니다. 고팔크리슈난은 은행이 계측 도구, 원격 측정, 피드백 순환 구조를 개발 중이라고 말했습니다. 캐피털원의 나타라잔은 AI를 지원하기 위해 데이터 역량을 계속 강화하겠다고 밝혔습니다. 그는 클라우드 기반 기술 체계와 수년간의 머신러닝 활용, 체계적으로 관리되는 데이터를 언급하며 필요할 때 아키텍처를 밑바닥부터 다시 구축하겠다고 말했습니다.