AI 에이전트 신뢰도 산정, '스칼라 점수' 대신 '출처 벡터' 도입
- •세르게이 파르페노프가 AI 에이전트 체인의 신뢰도를 측정하기 위해 기존 스칼라 점수를 대체할 타입별 출처 벡터를 제안했다.
- •출처 벡터는 성능을 독립적인 축으로 기록하여 소비자가 각기 다른 기준에 따라 신뢰도를 검증할 수 있도록 지원한다.
- •특정 성능 축에서 실패가 발생하면 전체 프로세스를 중단하는 대신 데이터 재조회 등 축별로 지정된 복구 작업을 수행한다.
세르게이 파르페노프(Sergei Parfenov)는 에이전틱 AI의 신뢰성을 관리하기 위해 단일 스칼라 점수 대신 타입별 출처 벡터(Typed Provenance Vectors)를 사용하는 프레임워크를 발표했다. 기존 0.0에서 1.0 사이의 단일 신뢰도 점수는 서로 다른 성능 영역에서 발생하는 독립적인 저하를 제대로 반영하지 못하는 침묵의 실패 모드(Silent failure modes)를 야기한다. 이를 보완하기 위해 모델 출력과 함께 다차원 기록을 전송함으로써, 개발자는 하위 단계에서 데이터 요구사항에 맞춰 독립적인 정책을 적용할 수 있다.
제안된 모델에서 출처는 모델 버전, 데이터 최신성, 도구 실행 상태 등 값이 생성된 방식을 정의하는 기록 역할을 수행한다. 소비자는 데이터의 최신성이나 모델 역량 등 각 축에 대해 필요한 기준을 정책으로 설정하여 출처를 평가한다. 예를 들어 요약 작업은 모델 성능이 낮아도 허용할 수 있지만 데이터 최신성을 중요시하는 반면, 가격 계산은 데이터 정확도를 최우선으로 요구할 수 있다. 이때 기준을 충족하지 못하면 시스템은 전체를 종료하는 대신 데이터 재조회나 인간 개입 요청 등 실패한 축에 특화된 복구 작업을 실행한다.
이 구조는 모든 입력 스트림 중 가장 낮은 성능 축을 기준으로 결과의 출처를 결정하는 최소 집계 방식을 사용한다. 이는 다른 부분의 성공으로 인해 전체 체인의 저하가 감춰지는 현상을 방지한다. 실무에서는 데이터 재조회를 위한 최신성이나 상위 모델 재실행을 위한 역량 등 고유한 복구 작업에 매핑되는 축부터 구현하여 복잡성을 최소화할 것을 권장한다. 데이터 계보(Data lineage) 및 오염 분석(Taint analysis)과 함께 분류되는 이 패러다임은 신뢰가 데이터의 고유 속성이 아니라, 소비자가 특정 운영 환경에 따라 계산하는 판정임을 강조한다.