AWS는 2026년 8월 4일 Amazon Bedrock AgentCore Browser, Amazon Bedrock, Amazon OpenSearch Serverless, AWS Lambda로 자동화된 웹 인사이트 추출을 배포하는 가이드를 공개했다. 이 시스템은 RSS 피드를 모니터링하고 관리형 브라우저로 웹사이트 콘텐츠를 가져오며, AI로 요약과 인사이트를 추출한 뒤 React 웹 인터페이스에서 검색 가능하게 만든다. AWS는 이 워크플로를 수십 개 웹사이트에서 경쟁 제품, 콘텐츠 트렌드, 시장 정보를 수동으로 추적하는 디자인팀, 마케팅팀, 제품 관리자용으로 설명했다.

아키텍처는 콘텐츠 수집과 AI 처리를 분리한다. Amazon EventBridge 일정은 15분마다 Lambda 함수를 실행해 설정된 RSS 피드를 확인하고 새 글을 찾은 뒤 Amazon S3와 대조해 중복을 제거한다. 새 글마다 Lambda는 Amazon Bedrock AgentCore Browser 세션을 열고 Chrome DevTools Protocol을 통해 Playwright로 제어하며, JavaScript가 많은 페이지를 렌더링한 뒤 스크린샷, 이미지, HTML, 메타데이터를 Amazon S3에 저장한다.

Amazon S3 업로드 이벤트는 Amazon SQS에 메시지를 게시하고, 두 번째 Lambda 함수가 원시 HTML에서 정제된 텍스트를 추출한다. 1 MB를 넘는 대형 HTML 파일은 토큰 제한을 피하기 위해 html-to-text로 단순화하고, 더 작은 파일은 Mozilla의 Readability 라이브러리로 본문과 대표 이미지를 추출한다. 이후 Amazon Bedrock은 간결한 요약, 주제, 엔터티, 카테고리, 실행 가능한 인사이트, 벡터 임베딩(검색용 숫자 의미 표현)을 생성한다.

강화된 콘텐츠는 Amazon OpenSearch Serverless에 색인돼 키워드 검색과 벡터 검색을 모두 지원한다. 이에 따라 “what are emerging design trends” 같은 질의는 원문에 같은 단어가 없어도 관련 결과를 반환할 수 있다. 최종 사용자는 Amazon Cognito로 인증하고 AWS Fargate 기반 Amazon ECS에서 실행되는 React 프런트엔드를 사용한다. 프로그래밍 방식 접근은 Fargate와 Amazon CloudFront를 쓰는 Amazon ECS의 Model Context Protocol 서버를 통해 제공되며, MCP는 AI 비서가 통합 인터페이스로 외부 데이터 소스에 연결되도록 하는 개방형 표준으로 설명됐다.

AWS는 파이프라인이 제3자 웹 콘텐츠를 파운데이션 모델로 보내고 생성 결과를 팀에 배포하기 때문에, 운영 환경에는 Amazon Bedrock Guardrails를 추가해야 한다고 밝혔다. 통제 항목에는 유해하거나 부적절한 스크랩 자료를 걸러내는 콘텐츠 필터링, 범위 관리를 위한 금지 주제와 단어 필터, 검색 색인에 들어가기 전 환각성 주장을 줄이는 맥락 기반 검증이 포함된다. 처리 구성요소는 Amazon VPC 안에서 실행되며, 관측성에는 Amazon CloudWatch, 최소 권한 접근에는 IAM을 사용한다.

가이드는 여러 구현상 교훈도 제시했다. AWS 테스트에서 AgentCore Browser 세션은 Playwright 렌더링 1회당 10–30초가 걸렸고 일반 HTTP 요청보다 비용이 상당히 높아, 새 브라우저 세션을 시작하기 전에 URL 해싱과 S3 중복 제거가 중요했다. AWS는 또한 원시 HTML이 LLM 입력으로 적합하지 않고, SQS 분리가 데드레터 큐를 통한 자동 재시도를 가능하게 하며, Amazon OpenSearch Serverless에는 최소 용량 비용 하한이 있다고 설명했다. 트래픽이 적은 배포에서는 Amazon RDS와 pgvector가 더 낮은 기본 비용으로 벡터 검색을 제공할 수 있다고 AWS는 밝혔다.

AWS는 2026년 8월 4일 Amazon Bedrock AgentCore Browser, Amazon Bedrock, Amazon OpenSearch Serverless, AWS Lambda로 자동화된 웹 인사이트 추출을 배포하는 가이드를 공개했다. 이 시스템은 RSS 피드를 모니터링하고 관리형 브라우저로 웹사이트 콘텐츠를 가져오며, AI로 요약과 인사이트를 추출한 뒤 React 웹 인터페이스에서 검색 가능하게 만든다. AWS는 이 워크플로를 수십 개 웹사이트에서 경쟁 제품, 콘텐츠 트렌드, 시장 정보를 수동으로 추적하는 디자인팀, 마케팅팀, 제품 관리자용으로 설명했다.

아키텍처는 콘텐츠 수집과 AI 처리를 분리한다. Amazon EventBridge 일정은 15분마다 Lambda 함수를 실행해 설정된 RSS 피드를 확인하고 새 글을 찾은 뒤 Amazon S3와 대조해 중복을 제거한다. 새 글마다 Lambda는 Amazon Bedrock AgentCore Browser 세션을 열고 Chrome DevTools Protocol을 통해 Playwright로 제어하며, JavaScript가 많은 페이지를 렌더링한 뒤 스크린샷, 이미지, HTML, 메타데이터를 Amazon S3에 저장한다.

Amazon S3 업로드 이벤트는 Amazon SQS에 메시지를 게시하고, 두 번째 Lambda 함수가 원시 HTML에서 정제된 텍스트를 추출한다. 1 MB를 넘는 대형 HTML 파일은 토큰 제한을 피하기 위해 html-to-text로 단순화하고, 더 작은 파일은 Mozilla의 Readability 라이브러리로 본문과 대표 이미지를 추출한다. 이후 Amazon Bedrock은 간결한 요약, 주제, 엔터티, 카테고리, 실행 가능한 인사이트, 벡터 임베딩(검색용 숫자 의미 표현)을 생성한다.

강화된 콘텐츠는 Amazon OpenSearch Serverless에 색인돼 키워드 검색과 벡터 검색을 모두 지원한다. 이에 따라 “what are emerging design trends” 같은 질의는 원문에 같은 단어가 없어도 관련 결과를 반환할 수 있다. 최종 사용자는 Amazon Cognito로 인증하고 AWS Fargate 기반 Amazon ECS에서 실행되는 React 프런트엔드를 사용한다. 프로그래밍 방식 접근은 Fargate와 Amazon CloudFront를 쓰는 Amazon ECS의 Model Context Protocol 서버를 통해 제공되며, MCP는 AI 비서가 통합 인터페이스로 외부 데이터 소스에 연결되도록 하는 개방형 표준으로 설명됐다.

AWS는 파이프라인이 제3자 웹 콘텐츠를 파운데이션 모델로 보내고 생성 결과를 팀에 배포하기 때문에, 운영 환경에는 Amazon Bedrock Guardrails를 추가해야 한다고 밝혔다. 통제 항목에는 유해하거나 부적절한 스크랩 자료를 걸러내는 콘텐츠 필터링, 범위 관리를 위한 금지 주제와 단어 필터, 검색 색인에 들어가기 전 환각성 주장을 줄이는 맥락 기반 검증이 포함된다. 처리 구성요소는 Amazon VPC 안에서 실행되며, 관측성에는 Amazon CloudWatch, 최소 권한 접근에는 IAM을 사용한다.

가이드는 여러 구현상 교훈도 제시했다. AWS 테스트에서 AgentCore Browser 세션은 Playwright 렌더링 1회당 10–30초가 걸렸고 일반 HTTP 요청보다 비용이 상당히 높아, 새 브라우저 세션을 시작하기 전에 URL 해싱과 S3 중복 제거가 중요했다. AWS는 또한 원시 HTML이 LLM 입력으로 적합하지 않고, SQS 분리가 데드레터 큐를 통한 자동 재시도를 가능하게 하며, Amazon OpenSearch Serverless에는 최소 용량 비용 하한이 있다고 설명했다. 트래픽이 적은 배포에서는 Amazon RDS와 pgvector가 더 낮은 기본 비용으로 벡터 검색을 제공할 수 있다고 AWS는 밝혔다.