Cohere는 직원들이 업무용 AI 에이전트를 직접 만들고 배포하면서 기업 내 에이전트가 늘고 있어 이를 관리할 방안이 필요하다고 밝혔습니다. 기업이 어떤 에이전트가 있는지 한눈에 파악하지 못하면 직원들이 에이전트를 찾거나 재사용하기 어려워지고, 회사 데이터와 시스템에 대한 접근 권한 관리도 복잡해질 수 있습니다. Cohere는 에이전트 생성 속도를 관리 역량이 따라가지 못하는 상황을 ‘에이전트 확산’이라고 부릅니다.

분산형 실험은 업무 현장과 가까운 직원이 해당 업무에 맞는 에이전트를 만들고, 유용한 해결책을 다른 팀과 공유할 수 있게 합니다. 에이전트 목록이 늘어도 사용하지 않는 에이전트는 존재만으로 토큰을 소비하지 않으므로 추론 비용이 자동으로 증가하는 것은 아닙니다. Cohere에 따르면 기업은 중앙 AI·엔지니어링 팀이 에이전트를 만들고 관리하는 중앙 집중형, 각 팀이 개발과 운영을 맡고 중앙 조직이 공통 기반과 관리 방식을 지원하는 연합형, 또는 두 방식을 결합한 형태를 사용합니다.

기업들은 담당자, 사용 현황, 접근 권한을 기록하고 직원이 기존 에이전트를 찾도록 돕는 등록 체계도 도입하고 있습니다. 재사용은 겹치는 선택지와 관리 대상 에이전트 수를 줄일 수 있지만, 중복을 일괄 금지하면 더 저렴하거나 안정적이고 특정 업무에 더 적합한 대안을 막을 수 있습니다. Cohere는 기존 에이전트보다 낫다는 근거를 제시하는 팀이 도전자 에이전트를 만들도록 허용하되, 계속 사용할지는 비교 결과로 판단하자고 제안합니다.

비교 기간은 정해 두고 업무에 맞는 신뢰성, 토큰 사용량, 지연시간, 작업 수행 능력 등을 측정해야 합니다. 충분한 근거를 모은 뒤 조직은 기존 에이전트를 도전자로 교체하거나 도전자를 폐기할 수 있으며, 각 에이전트가 서로 다른 업무에 적합하면 둘 다 유지할 수 있습니다. Cohere는 상업 대출 부서가 있는 은행 사례를 들었습니다. 중앙 팀의 금융 에이전트는 신용 심사 메모 초안을 작성하고, 대출 팀은 더 작고 저렴한 모델을 쓰면서 수치를 원본 문서와 대조하는 단계를 추가한 도전자 에이전트를 만듭니다.

은행은 정기 연례 심사부터 복잡한 금융 건까지 대상으로 두 에이전트를 30일간 시험합니다. 원본 문서에서 수치를 정확히 추적한 비율, 대출 담당자가 초안을 얼마나 수정하는지, 메모당 토큰 비용, 첫 초안 작성까지 걸린 시간을 비교합니다. 도전자가 비슷한 품질을 훨씬 낮은 비용으로 제공하면 기존 에이전트를 대체하고, 의미 있는 우위가 없으면 폐기합니다. 정기 심사에는 더 적합하지만 복잡한 금융 업무에는 덜 적합하다면 각자 잘하는 업무를 맡도록 둘 다 유지합니다. Cohere의 제안은 에이전트 생성은 쉽게 하되, 지속적인 사용은 비교 결과에 달리도록 하는 것입니다.

Cohere는 직원들이 업무용 AI 에이전트를 직접 만들고 배포하면서 기업 내 에이전트가 늘고 있어 이를 관리할 방안이 필요하다고 밝혔습니다. 기업이 어떤 에이전트가 있는지 한눈에 파악하지 못하면 직원들이 에이전트를 찾거나 재사용하기 어려워지고, 회사 데이터와 시스템에 대한 접근 권한 관리도 복잡해질 수 있습니다. Cohere는 에이전트 생성 속도를 관리 역량이 따라가지 못하는 상황을 ‘에이전트 확산’이라고 부릅니다.

분산형 실험은 업무 현장과 가까운 직원이 해당 업무에 맞는 에이전트를 만들고, 유용한 해결책을 다른 팀과 공유할 수 있게 합니다. 에이전트 목록이 늘어도 사용하지 않는 에이전트는 존재만으로 토큰을 소비하지 않으므로 추론 비용이 자동으로 증가하는 것은 아닙니다. Cohere에 따르면 기업은 중앙 AI·엔지니어링 팀이 에이전트를 만들고 관리하는 중앙 집중형, 각 팀이 개발과 운영을 맡고 중앙 조직이 공통 기반과 관리 방식을 지원하는 연합형, 또는 두 방식을 결합한 형태를 사용합니다.

기업들은 담당자, 사용 현황, 접근 권한을 기록하고 직원이 기존 에이전트를 찾도록 돕는 등록 체계도 도입하고 있습니다. 재사용은 겹치는 선택지와 관리 대상 에이전트 수를 줄일 수 있지만, 중복을 일괄 금지하면 더 저렴하거나 안정적이고 특정 업무에 더 적합한 대안을 막을 수 있습니다. Cohere는 기존 에이전트보다 낫다는 근거를 제시하는 팀이 도전자 에이전트를 만들도록 허용하되, 계속 사용할지는 비교 결과로 판단하자고 제안합니다.

비교 기간은 정해 두고 업무에 맞는 신뢰성, 토큰 사용량, 지연시간, 작업 수행 능력 등을 측정해야 합니다. 충분한 근거를 모은 뒤 조직은 기존 에이전트를 도전자로 교체하거나 도전자를 폐기할 수 있으며, 각 에이전트가 서로 다른 업무에 적합하면 둘 다 유지할 수 있습니다. Cohere는 상업 대출 부서가 있는 은행 사례를 들었습니다. 중앙 팀의 금융 에이전트는 신용 심사 메모 초안을 작성하고, 대출 팀은 더 작고 저렴한 모델을 쓰면서 수치를 원본 문서와 대조하는 단계를 추가한 도전자 에이전트를 만듭니다.

은행은 정기 연례 심사부터 복잡한 금융 건까지 대상으로 두 에이전트를 30일간 시험합니다. 원본 문서에서 수치를 정확히 추적한 비율, 대출 담당자가 초안을 얼마나 수정하는지, 메모당 토큰 비용, 첫 초안 작성까지 걸린 시간을 비교합니다. 도전자가 비슷한 품질을 훨씬 낮은 비용으로 제공하면 기존 에이전트를 대체하고, 의미 있는 우위가 없으면 폐기합니다. 정기 심사에는 더 적합하지만 복잡한 금융 업무에는 덜 적합하다면 각자 잘하는 업무를 맡도록 둘 다 유지합니다. Cohere의 제안은 에이전트 생성은 쉽게 하되, 지속적인 사용은 비교 결과에 달리도록 하는 것입니다.