Orca Security와 AWS는 보안 분석가가 쿼리 언어를 익히지 않고도 Orca의 Sonar 클라우드 보안 데이터를 검색하도록 Amazon Bedrock 기반 자연어 쿼리 에이전트 Discovery AI를 구축했습니다. Sonar는 클라우드 인프라와 애플리케이션 모델 900개 이상, 공급자 간 관계, 연산자 18개를 지원합니다. Discovery AI 이전에는 사용자가 정확한 모델명을 지정하고 중첩된 관계를 따라가며 Sonar 스키마에 맞는 JSON 쿼리를 작성해야 했습니다.

초기 시제품은 모델 정의와 관계 유형, 쿼리 예시 900개 이상을 하나의 프롬프트에 넣었습니다. 설계 파트너와 내부 사용자에게는 유망한 결과를 보였지만, 작업당 입력 토큰 약 200만 개를 사용했고 응답에 약 60초가 걸렸으며 여러 모델, 중첩 관계 또는 조건을 포함한 복잡한 쿼리에 어려움을 겪었습니다. 현재 운영 시스템은 하루 수천 건의 쿼리를 처리하며 응답 시간은 15초입니다.

Discovery AI는 검색 증강 생성(관련 예시를 찾아 생성 결과를 안내하는 방식)과 스키마 인식 쿼리 구성을 결합한 9단계 파이프라인을 사용합니다. 요청마다 사용자 조직, 연결된 클라우드 공급자와 요청 메타데이터를 추가합니다. 규칙 기반 매처는 IP 주소, CVE, ARN, 파일 해시, URL, 경보 ID 같은 구조화된 입력을 식별해 언어 모델 추론 없이 미리 정의된 필터를 반환할 수 있습니다. 가드레일은 프롬프트 주입 시도, 주제와 무관한 요청, 지원되지 않는 입력을 차단합니다.

그 밖의 요청에는 Amazon Titan Text Embeddings를 사용해 검증된 쿼리 예시 중 가장 가까운 20개를 찾고, Cohere Rerank 3.5가 관련성이 높은 5개를 고릅니다. Orca는 이 조합이 비슷한 예시를 중복해 반환한 상위 K 의미 검색보다 나았다고 밝혔습니다. 상위 결과가 정확할 때 관련성을 낮출 수 있는 최대 주변 관련성 방식보다도 효과적이었다고 설명했습니다. 모델 선택기는 900개가 넘는 Sonar 모델의 간결한 설명으로 관련 모델을 고르고, 생성기에는 전체 스키마 대신 해당 모델의 상세 스키마와 연결 관계를 전달합니다.

Anthropic Claude Haiku 4.5는 모델 선택과 쿼리 생성을 맡습니다. Amazon Nova 2 Lite는 가드레일 검사와 검증을, Amazon Titan은 임베딩을, Cohere Rerank 3.5는 검색 예시의 순위 결정을 담당합니다. 생성기는 선택된 스키마와 예시, 사용자 맥락, 도구를 바탕으로 필터를 만들고, 정적 검사와 Orca의 Sonar API가 이를 검증합니다. 오류가 있으면 생성기에 전달해 수정하며 재시도 횟수는 제한됩니다. 유효한 쿼리를 만들지 못하면 유효하지 않은 필터라는 응답을 돌려줍니다. Amazon Bedrock은 하나의 API로 여러 모델에 접근하게 하며, Orca는 AWS Identity and Access Management 제어, 가상 사설 클라우드 엔드포인트, AWS CloudTrail이 보안 요건을 충족했다고 밝혔습니다.

Orca는 프롬프트, 모델, 검색 설정과 예시의 변경 사항을 운영 환경의 질문 유형, 모델 계열, 복잡도 수준을 아우르는 선별 데이터셋으로 평가합니다. 자동화된 언어 모델 판정기가 정답성, 완전성, 기준 쿼리와의 의미적 동등성을 점수화하고, 유형별 측정으로 성능 저하 지점을 찾습니다. 제품 관리자, 지원 엔지니어와 보안 연구자는 쿼리에 표시를 달고 결과를 수정해 예시 저장소에 추가할 수 있습니다. 신뢰도가 낮은 운영 쿼리는 매일 도메인 전문가에게 전달돼 라벨링되며, 다음 파이프라인 실행에서 배포 없이 수정된 예시를 검색할 수 있습니다.

2026년 3월부터 운영된 Discovery AI는 비교 가능한 작업의 입력 토큰을 약 200만 개에서 14만 개로 93% 줄였고, 초기 기준 대비 전체 쿼리 비용을 90% 낮췄다고 Orca는 밝혔습니다. 종단 간 응답 시간은 약 60초에서 15초로 75% 단축됐습니다. Orca는 평가 과정에서 복수 모델을 포함한 복잡한 쿼리의 정확도도 개선됐다고 보고했습니다. 시스템은 하루 수천 건의 쿼리를 처리하며, 품질은 내부 전문가와 고객 피드백으로 평가됩니다.

Orca Security와 AWS는 보안 분석가가 쿼리 언어를 익히지 않고도 Orca의 Sonar 클라우드 보안 데이터를 검색하도록 Amazon Bedrock 기반 자연어 쿼리 에이전트 Discovery AI를 구축했습니다. Sonar는 클라우드 인프라와 애플리케이션 모델 900개 이상, 공급자 간 관계, 연산자 18개를 지원합니다. Discovery AI 이전에는 사용자가 정확한 모델명을 지정하고 중첩된 관계를 따라가며 Sonar 스키마에 맞는 JSON 쿼리를 작성해야 했습니다.

초기 시제품은 모델 정의와 관계 유형, 쿼리 예시 900개 이상을 하나의 프롬프트에 넣었습니다. 설계 파트너와 내부 사용자에게는 유망한 결과를 보였지만, 작업당 입력 토큰 약 200만 개를 사용했고 응답에 약 60초가 걸렸으며 여러 모델, 중첩 관계 또는 조건을 포함한 복잡한 쿼리에 어려움을 겪었습니다. 현재 운영 시스템은 하루 수천 건의 쿼리를 처리하며 응답 시간은 15초입니다.

Discovery AI는 검색 증강 생성(관련 예시를 찾아 생성 결과를 안내하는 방식)과 스키마 인식 쿼리 구성을 결합한 9단계 파이프라인을 사용합니다. 요청마다 사용자 조직, 연결된 클라우드 공급자와 요청 메타데이터를 추가합니다. 규칙 기반 매처는 IP 주소, CVE, ARN, 파일 해시, URL, 경보 ID 같은 구조화된 입력을 식별해 언어 모델 추론 없이 미리 정의된 필터를 반환할 수 있습니다. 가드레일은 프롬프트 주입 시도, 주제와 무관한 요청, 지원되지 않는 입력을 차단합니다.

그 밖의 요청에는 Amazon Titan Text Embeddings를 사용해 검증된 쿼리 예시 중 가장 가까운 20개를 찾고, Cohere Rerank 3.5가 관련성이 높은 5개를 고릅니다. Orca는 이 조합이 비슷한 예시를 중복해 반환한 상위 K 의미 검색보다 나았다고 밝혔습니다. 상위 결과가 정확할 때 관련성을 낮출 수 있는 최대 주변 관련성 방식보다도 효과적이었다고 설명했습니다. 모델 선택기는 900개가 넘는 Sonar 모델의 간결한 설명으로 관련 모델을 고르고, 생성기에는 전체 스키마 대신 해당 모델의 상세 스키마와 연결 관계를 전달합니다.

Anthropic Claude Haiku 4.5는 모델 선택과 쿼리 생성을 맡습니다. Amazon Nova 2 Lite는 가드레일 검사와 검증을, Amazon Titan은 임베딩을, Cohere Rerank 3.5는 검색 예시의 순위 결정을 담당합니다. 생성기는 선택된 스키마와 예시, 사용자 맥락, 도구를 바탕으로 필터를 만들고, 정적 검사와 Orca의 Sonar API가 이를 검증합니다. 오류가 있으면 생성기에 전달해 수정하며 재시도 횟수는 제한됩니다. 유효한 쿼리를 만들지 못하면 유효하지 않은 필터라는 응답을 돌려줍니다. Amazon Bedrock은 하나의 API로 여러 모델에 접근하게 하며, Orca는 AWS Identity and Access Management 제어, 가상 사설 클라우드 엔드포인트, AWS CloudTrail이 보안 요건을 충족했다고 밝혔습니다.

Orca는 프롬프트, 모델, 검색 설정과 예시의 변경 사항을 운영 환경의 질문 유형, 모델 계열, 복잡도 수준을 아우르는 선별 데이터셋으로 평가합니다. 자동화된 언어 모델 판정기가 정답성, 완전성, 기준 쿼리와의 의미적 동등성을 점수화하고, 유형별 측정으로 성능 저하 지점을 찾습니다. 제품 관리자, 지원 엔지니어와 보안 연구자는 쿼리에 표시를 달고 결과를 수정해 예시 저장소에 추가할 수 있습니다. 신뢰도가 낮은 운영 쿼리는 매일 도메인 전문가에게 전달돼 라벨링되며, 다음 파이프라인 실행에서 배포 없이 수정된 예시를 검색할 수 있습니다.

2026년 3월부터 운영된 Discovery AI는 비교 가능한 작업의 입력 토큰을 약 200만 개에서 14만 개로 93% 줄였고, 초기 기준 대비 전체 쿼리 비용을 90% 낮췄다고 Orca는 밝혔습니다. 종단 간 응답 시간은 약 60초에서 15초로 75% 단축됐습니다. Orca는 평가 과정에서 복수 모델을 포함한 복잡한 쿼리의 정확도도 개선됐다고 보고했습니다. 시스템은 하루 수천 건의 쿼리를 처리하며, 품질은 내부 전문가와 고객 피드백으로 평가됩니다.