Cohere, AWS 금융 리서치 도우미 공개

Cohere의 AWS 금융 리서치 도우미는 공시 문서를 검색하고 Anthropic Claude를 이용해 답변 초안을 작성하며, 각 주장에 근거가 된 페이지를 표시합니다. 데모는 검색에 Cohere Embed를, 결과 재정렬에 Rerank를, 까다로운 페이지에서 텍스트와 표를 추출하는 데 Parse를 결합합니다. Amazon SageMaker AI와 OpenSearch Serverless에서 실행되며, AWS 계정에 배포하도록 CloudFormation 기반 설정을 제공합니다.

금융 공시는 핵심 수치가 표, 각주, 차트, 스캔 페이지에 흩어져 있어 검색하기 어렵습니다. PDF를 일반 텍스트로 바꾸면 표의 행과 열이 깨지거나 여러 단으로 된 페이지의 순서가 뒤섞이고 차트가 사라질 수 있습니다. 도우미는 인용 근거가 표, 차트, 본문, 각주, 그림 중 어디에서 왔는지 표시하고, 독자가 페이지 이미지를 열어 확인하도록 지원합니다. 한 언어로 다른 언어의 문서에 질문하는 기능도 있습니다. Cohere는 Embed가 100개가 넘는 언어와 128K 토큰 문맥 길이를 지원하며, Rerank Pro도 100개가 넘는 언어를 지원한다고 밝혔습니다.

설계에서는 페이지를 한 번 색인하는 반면 질문은 반복해서 들어온다는 점을 고려해 Embed Pro로 페이지를 색인하고 Embed Fast로 질문을 처리합니다. 두 모델은 같은 임베딩 공간을 공유하므로 Pro로 색인한 페이지와 Fast로 처리한 질문을 비교할 수 있습니다. 시스템은 1,024차원 int8 벡터를 사용합니다. 벡터 하나의 원시 저장 공간은 1KB로, 2,048차원 float32 벡터의 8KB보다 8배 작습니다. 문서 100만 페이지를 저장할 경우 원시 벡터 데이터는 약 1GB로 추산되며, 기존 방식은 8GB입니다. Embed는 256~2,048차원의 출력 크기 6종을 제공하며, 형식은 float, int8, binary입니다. binary 벡터는 float32보다 32배 작습니다. 검색 질문과 색인은 같은 크기와 형식을 사용해야 하며, 나중에 이를 바꾸면 모든 페이지를 다시 임베딩해야 합니다.

질문이 들어오면 벡터 검색이 후보 페이지 30개를 찾고, Rerank가 그중 5개를 골라 Claude에 전달합니다. Rerank Pro는 질문과 페이지를 합쳐 최대 32K 토큰까지 처리합니다. Context Focus는 질문과 관련된 구절을 찾아 Claude에 보내는 텍스트 양을 줄일 수 있으며, 페이지 이미지는 맥락을 보탭니다. Rerank 5는 각 페이지의 보정된 관련도 점수도 0~1 범위로 반환합니다. 재정렬은 처리 시간을 늘리고 별도 엔드포인트가 필요하므로 데모에서는 선택 기능으로 제공하며, 나란히 비교하는 검색 결과와 단계별 처리 시간을 보여줍니다.

Parse는 텍스트가 매우 적거나 대부분이 표로 된 페이지를 문서 수집 과정에서 선별해 사용하고, 나머지 페이지는 기존 텍스트를 유지합니다. 결과를 저장해 두므로 색인을 다시 만들어도 각 페이지를 한 번만 처리합니다. Cohere는 디지털 연례 보고서와 10-K에는 페이지 텍스트를 임베딩한 뒤 답변 과정에서 Claude가 페이지 이미지를 살피도록 권합니다. 스캔 자료, 슬라이드, 도표, 차트가 대부분인 보관 문서에는 이미지를 임베딩하거나 이미지와 텍스트를 함께 쓰는 방식을 제안합니다. 웹 앱에는 질문 기능, 검색 결과 비교, 표 추출을 위한 Assistant, Search, Parse 기능도 별도로 마련돼 있습니다.

Cohere의 AWS 금융 리서치 도우미는 공시 문서를 검색하고 Anthropic Claude를 이용해 답변 초안을 작성하며, 각 주장에 근거가 된 페이지를 표시합니다. 데모는 검색에 Cohere Embed를, 결과 재정렬에 Rerank를, 까다로운 페이지에서 텍스트와 표를 추출하는 데 Parse를 결합합니다. Amazon SageMaker AI와 OpenSearch Serverless에서 실행되며, AWS 계정에 배포하도록 CloudFormation 기반 설정을 제공합니다.

금융 공시는 핵심 수치가 표, 각주, 차트, 스캔 페이지에 흩어져 있어 검색하기 어렵습니다. PDF를 일반 텍스트로 바꾸면 표의 행과 열이 깨지거나 여러 단으로 된 페이지의 순서가 뒤섞이고 차트가 사라질 수 있습니다. 도우미는 인용 근거가 표, 차트, 본문, 각주, 그림 중 어디에서 왔는지 표시하고, 독자가 페이지 이미지를 열어 확인하도록 지원합니다. 한 언어로 다른 언어의 문서에 질문하는 기능도 있습니다. Cohere는 Embed가 100개가 넘는 언어와 128K 토큰 문맥 길이를 지원하며, Rerank Pro도 100개가 넘는 언어를 지원한다고 밝혔습니다.

설계에서는 페이지를 한 번 색인하는 반면 질문은 반복해서 들어온다는 점을 고려해 Embed Pro로 페이지를 색인하고 Embed Fast로 질문을 처리합니다. 두 모델은 같은 임베딩 공간을 공유하므로 Pro로 색인한 페이지와 Fast로 처리한 질문을 비교할 수 있습니다. 시스템은 1,024차원 int8 벡터를 사용합니다. 벡터 하나의 원시 저장 공간은 1KB로, 2,048차원 float32 벡터의 8KB보다 8배 작습니다. 문서 100만 페이지를 저장할 경우 원시 벡터 데이터는 약 1GB로 추산되며, 기존 방식은 8GB입니다. Embed는 256~2,048차원의 출력 크기 6종을 제공하며, 형식은 float, int8, binary입니다. binary 벡터는 float32보다 32배 작습니다. 검색 질문과 색인은 같은 크기와 형식을 사용해야 하며, 나중에 이를 바꾸면 모든 페이지를 다시 임베딩해야 합니다.

질문이 들어오면 벡터 검색이 후보 페이지 30개를 찾고, Rerank가 그중 5개를 골라 Claude에 전달합니다. Rerank Pro는 질문과 페이지를 합쳐 최대 32K 토큰까지 처리합니다. Context Focus는 질문과 관련된 구절을 찾아 Claude에 보내는 텍스트 양을 줄일 수 있으며, 페이지 이미지는 맥락을 보탭니다. Rerank 5는 각 페이지의 보정된 관련도 점수도 0~1 범위로 반환합니다. 재정렬은 처리 시간을 늘리고 별도 엔드포인트가 필요하므로 데모에서는 선택 기능으로 제공하며, 나란히 비교하는 검색 결과와 단계별 처리 시간을 보여줍니다.

Parse는 텍스트가 매우 적거나 대부분이 표로 된 페이지를 문서 수집 과정에서 선별해 사용하고, 나머지 페이지는 기존 텍스트를 유지합니다. 결과를 저장해 두므로 색인을 다시 만들어도 각 페이지를 한 번만 처리합니다. Cohere는 디지털 연례 보고서와 10-K에는 페이지 텍스트를 임베딩한 뒤 답변 과정에서 Claude가 페이지 이미지를 살피도록 권합니다. 스캔 자료, 슬라이드, 도표, 차트가 대부분인 보관 문서에는 이미지를 임베딩하거나 이미지와 텍스트를 함께 쓰는 방식을 제안합니다. 웹 앱에는 질문 기능, 검색 결과 비교, 표 추출을 위한 Assistant, Search, Parse 기능도 별도로 마련돼 있습니다.