AWS, AppSync 기반 서버리스 AI 게이트웨이 공개
- •AWS가 확장성과 저지연 WebSocket 스트리밍을 지원하는 AppSync Events 기반의 서버리스 AI 게이트웨이를 선보였다.
- •중앙 집중식 ID 관리와 토큰 기반의 정밀한 속도 제한 기능을 통해 생성형 AI 모델의 소비를 효율적으로 제어한다.
- •Amazon Bedrock Converse API와의 통합으로 파운데이션 모델 및 기업용 에이전트에 대한 단일화된 접근 경로를 제공한다.
AWS가 대규모 언어 모델 (LLM)과 사용자 사이의 간극을 메우기 위해 AWS AppSync Events를 활용한 정교한 서버리스 AI 게이트웨이 설계안을 선보였다. 이 아키텍처는 물리적 서버 관리의 번거로움 없이도 생성형 AI 서비스의 보안과 가시성을 높이는 미들웨어 계층으로 작동한다.
시스템의 핵심 강점은 WebSocket 프로토콜을 통한 저지연 통신이다. AI 모델의 응답을 실시간에 가깝게 사용자에게 전달함으로써, 현대 사용자가 기대하는 매끄러운 대화형 경험을 완벽하게 구현해냈다.
사용자 식별과 자원 소모의 정밀한 통제 역시 돋보이는 대목이다. Amazon Cognito로 신원을 확인하고 Amazon DynamoDB로 사용량을 추적하는 구조를 택했다. 덕분에 기업은 특정 시간대나 월별 주기에 따라 사용 가능한 토큰의 양을 제한하는 복잡한 속도 제한 설정을 손쉽게 적용할 수 있다.
토큰은 AI가 정보를 처리하는 최소 단위로, 이를 관리하는 것은 생성형 AI 운영 비용 최적화의 핵심 열쇠가 된다. 개발 편의성도 놓치지 않았다. Amazon Bedrock Converse API를 활용하면 다양한 파운데이션 모델과 일관된 방식으로 통신할 수 있다. 거대한 데이터를 학습한 AI 시스템들을 하나의 통로로 다루는 셈이다.
여기에 독자적인 임무 수행이 가능한 AI 에이전트 배포를 간소화하는 Amazon Bedrock AgentCore 기술까지 더해졌다. 엔지니어는 Amazon CloudWatch를 통해 실시간으로 성능을 감시하며 시스템을 안정적으로 운영할 수 있다.