종교 단체를 위한 디지털 참여 플랫폼인 Pushpay가 Amazon Bedrock을 활용해 생성형 AI 검색 도구를 프로토타입에서 실제 서비스 단계로 성공적으로 전환했다. 초기 개발 단계에서 스스로 추론하고 과업을 수행하는 시스템인 에이전틱 AI의 정확도는 60~70% 수준에 머물렀다. 개발팀은 이 성능 정체기를 극복하기 위해 Amazon Bedrock을 기반으로 한 고도의 평가 체계를 구축하며 돌파구를 마련했다. 핵심 전략은 300개 이상의 검증된 질의응답 쌍으로 구성된 '골든 데이터셋'을 활용한 것이었다. 대규모 언어 모델 (LLM)을 검토자로 설정하여 AI의 출력물을 벤치마크와 비교 분석했고, 이를 통해 특정 문제 지점을 개선할 수 있는 세밀한 통찰력을 얻었다. 이러한 정밀한 검증 과정은 AI의 판단 능력을 한 단계 끌어올리는 계기가 되었다. 기술적 개선의 백미는 정적인 지시어 대신 사용자 맥락에 따라 실시간으로 지침을 생성하는 '동적 프롬프트 구성' 시스템이다. 여기에 비용 절감과 응답 속도 향상을 위한 프롬프트 캐싱 기술을 결합했다. 그 결과, 사용자는 기존 수동 탐색보다 무려 15배나 빠른 속도로 필요한 정보를 얻을 수 있게 되었다. 또한 '전략적 억제'라는 데이터 기반의 접근 방식도 주목할 만하다. AI가 취약한 특정 카테고리를 식별하여 정확도가 95%에 도달할 때까지 해당 기능을 일시적으로 제한함으로써 사용자 신뢰를 보호. 이는 단순히 기능을 늘리는 것보다 시스템의 신뢰성과 안정성을 우선시한 영리한 전략으로 평가받는다.

종교 단체를 위한 디지털 참여 플랫폼인 Pushpay가 Amazon Bedrock을 활용해 생성형 AI 검색 도구를 프로토타입에서 실제 서비스 단계로 성공적으로 전환했다. 초기 개발 단계에서 스스로 추론하고 과업을 수행하는 시스템인 에이전틱 AI의 정확도는 60~70% 수준에 머물렀다. 개발팀은 이 성능 정체기를 극복하기 위해 Amazon Bedrock을 기반으로 한 고도의 평가 체계를 구축하며 돌파구를 마련했다. 핵심 전략은 300개 이상의 검증된 질의응답 쌍으로 구성된 '골든 데이터셋'을 활용한 것이었다. 대규모 언어 모델 (LLM)을 검토자로 설정하여 AI의 출력물을 벤치마크와 비교 분석했고, 이를 통해 특정 문제 지점을 개선할 수 있는 세밀한 통찰력을 얻었다. 이러한 정밀한 검증 과정은 AI의 판단 능력을 한 단계 끌어올리는 계기가 되었다. 기술적 개선의 백미는 정적인 지시어 대신 사용자 맥락에 따라 실시간으로 지침을 생성하는 '동적 프롬프트 구성' 시스템이다. 여기에 비용 절감과 응답 속도 향상을 위한 프롬프트 캐싱 기술을 결합했다. 그 결과, 사용자는 기존 수동 탐색보다 무려 15배나 빠른 속도로 필요한 정보를 얻을 수 있게 되었다. 또한 '전략적 억제'라는 데이터 기반의 접근 방식도 주목할 만하다. AI가 취약한 특정 카테고리를 식별하여 정확도가 95%에 도달할 때까지 해당 기능을 일시적으로 제한함으로써 사용자 신뢰를 보호. 이는 단순히 기능을 늘리는 것보다 시스템의 신뢰성과 안정성을 우선시한 영리한 전략으로 평가받는다.