기업 AI 에이전트, 자율성 확대에 신중

KPMG가 7월과 8월에 실시한 조사에서 IT 책임자 62%가 AI 에이전트를 구축·배포·개발 중이라고 답했습니다. 전 분기 53%에서 상승한 수치입니다. 하지만 많은 기업은 1단계 IT 지원 같은 기본적이고 위험이 낮은 업무를 제외하면 에이전트에 내부 절차의 광범위한 통제권을 맡기는 데 불편함을 느낍니다. ModelOp의 최고기술책임자 짐 올슨(Jim Olsen)은 고객 환불이나 크레딧 처리에 제한된 자율성이 이미 쓰이고 있지만, 가까운 시일 안에 기업들이 에이전트에 무제한 권한을 부여하지는 않을 것으로 봤습니다.

올슨은 개인 사용자가 Clawdbot과 OpenClaw에 이메일 전체 접근 권한을 준 사례를 위험의 예로 들었습니다. 일부에게는 잘 작동했지만 상당한 위험 노출을 만들었다고 설명했습니다. 그는 자율형 봇을 접근 가능한 소프트웨어를 제한하는 통제 환경인 엄격한 샌드박스에 두고 명확한 정책을 설정할 것을 권고했습니다. 민감한 정보에 접근하지 않는 저위험 업무부터 자율성이 확대될 가능성이 크며, 신뢰가 쌓이면 활용 범위도 넓어질 수 있다고 말했습니다. IT 책임자들은 에이전트가 의도보다 더 많은 권한을 조용히 얻는 ‘자율성 확대’를 우려합니다. 사람의 감독만으로는 직원이 오류를 바로잡을 시간이나 권한을 확보하지 못할 수 있습니다. 올슨은 API 게이트웨이, 운영체제 수준의 통제, 자격 증명 관리를 실행 중 정책 적용 수단으로 제시했으며, 조직별로 에이전트와 사용 사례에 맞춘 일관된 전략이 여전히 필요하다고 말했습니다.

Barracuda Networks의 최고정보책임자 시루이 무셰기안(Siroui Mushegian)은 회사가 에이전트 약 2,000개를 배포했지만 직원들이 여전히 에이전트의 행동을 확인한다고 밝혔습니다. 일부 티켓 처리 자동화는 ‘신뢰하되 검증’하는 방식으로 거의 자율화됐지만, 감사 대상 절차에서 사람의 책임을 없애는 데는 100% 확신하지 못한다고 했습니다. 실수의 결과에 따라 더 많은 권한을 주기 전에 요구할 증거의 수준을 정해야 한다는 설명입니다. 답변이 문서화돼 있고 행동 범위가 제한되며 실수를 쉽게 바로잡을 수 있는 일반 지원 요청은 자율화 후보입니다. 반면 접근 권한이나 운영 시스템을 변경하는 에이전트는 적합성이 낮습니다. 하나의 업무 흐름에서도 에이전트가 일부 단계는 독립적으로 처리하고, 중대한 결정에는 승인을 요구할 수 있습니다.

Taupia 공동 창업자 겸 최고기술책임자 조슈아 로우(Joshua Rowe)는 자율성을 행동별로 설정해야 한다고 말했습니다. 에이전트가 한 단계는 독립적으로 수행하고 다른 단계에서는 승인을 받을 수 있다는 뜻입니다. 그는 데이터 수집, 분류, 초안 작성, 선택지 비교처럼 자료를 읽는 업무에서 거의 자율적인 활용을 보고 있습니다. Taupia는 에너지 요금제를 비교하고 공급자 변경을 준비하는 에이전트를 시험 중이며, 변경이 적용되기 전에 고객이 직접 검토하고 확인해야 합니다. 되돌릴 수 없는 조치에 자율 권한을 줄지는 지출 한도, 대기 기간, 실행 취소, 감사 기록 등을 통해 조치를 되돌릴 수 있거나 범위를 제한할 수 있는지에 달렸다고 로우는 말했습니다. 계약 서명이나 계좌 간 자금 이동처럼 되돌릴 수 없는 조치에는 사람의 승인을 유지하겠다고 했습니다.

Text의 최고기술책임자 마치에이 발라슈치크(Maciej Walaszczyk)는 사람에게서 제공받은 지식으로 학습한 고객 서비스 에이전트는 계속 감독하지 않아도 문의에 답할 수 있으며, 자율성은 권한과 결과에 따라 정해야 한다고 말했습니다. 그는 부서 전체를 넘기기보다 목표와 경계, 검증 가능한 결과를 정해 특정 절차를 맡기라고 권고했습니다. 에이전트가 대리하는 사람보다 더 큰 권한을 가져서는 안 된다는 입장입니다. 신뢰를 위해서는 실질적인 감독과 검증된 결과가 필요하며, 되돌릴 수 없거나 큰 결과를 낳는 조치에는 사람의 검토가 계속 필요합니다. ‘AI가 했다’는 이유로 책임이 사라지지는 않는다고 발라슈치크는 말했습니다.

KPMG가 7월과 8월에 실시한 조사에서 IT 책임자 62%가 AI 에이전트를 구축·배포·개발 중이라고 답했습니다. 전 분기 53%에서 상승한 수치입니다. 하지만 많은 기업은 1단계 IT 지원 같은 기본적이고 위험이 낮은 업무를 제외하면 에이전트에 내부 절차의 광범위한 통제권을 맡기는 데 불편함을 느낍니다. ModelOp의 최고기술책임자 짐 올슨(Jim Olsen)은 고객 환불이나 크레딧 처리에 제한된 자율성이 이미 쓰이고 있지만, 가까운 시일 안에 기업들이 에이전트에 무제한 권한을 부여하지는 않을 것으로 봤습니다.

올슨은 개인 사용자가 Clawdbot과 OpenClaw에 이메일 전체 접근 권한을 준 사례를 위험의 예로 들었습니다. 일부에게는 잘 작동했지만 상당한 위험 노출을 만들었다고 설명했습니다. 그는 자율형 봇을 접근 가능한 소프트웨어를 제한하는 통제 환경인 엄격한 샌드박스에 두고 명확한 정책을 설정할 것을 권고했습니다. 민감한 정보에 접근하지 않는 저위험 업무부터 자율성이 확대될 가능성이 크며, 신뢰가 쌓이면 활용 범위도 넓어질 수 있다고 말했습니다. IT 책임자들은 에이전트가 의도보다 더 많은 권한을 조용히 얻는 ‘자율성 확대’를 우려합니다. 사람의 감독만으로는 직원이 오류를 바로잡을 시간이나 권한을 확보하지 못할 수 있습니다. 올슨은 API 게이트웨이, 운영체제 수준의 통제, 자격 증명 관리를 실행 중 정책 적용 수단으로 제시했으며, 조직별로 에이전트와 사용 사례에 맞춘 일관된 전략이 여전히 필요하다고 말했습니다.

Barracuda Networks의 최고정보책임자 시루이 무셰기안(Siroui Mushegian)은 회사가 에이전트 약 2,000개를 배포했지만 직원들이 여전히 에이전트의 행동을 확인한다고 밝혔습니다. 일부 티켓 처리 자동화는 ‘신뢰하되 검증’하는 방식으로 거의 자율화됐지만, 감사 대상 절차에서 사람의 책임을 없애는 데는 100% 확신하지 못한다고 했습니다. 실수의 결과에 따라 더 많은 권한을 주기 전에 요구할 증거의 수준을 정해야 한다는 설명입니다. 답변이 문서화돼 있고 행동 범위가 제한되며 실수를 쉽게 바로잡을 수 있는 일반 지원 요청은 자율화 후보입니다. 반면 접근 권한이나 운영 시스템을 변경하는 에이전트는 적합성이 낮습니다. 하나의 업무 흐름에서도 에이전트가 일부 단계는 독립적으로 처리하고, 중대한 결정에는 승인을 요구할 수 있습니다.

Taupia 공동 창업자 겸 최고기술책임자 조슈아 로우(Joshua Rowe)는 자율성을 행동별로 설정해야 한다고 말했습니다. 에이전트가 한 단계는 독립적으로 수행하고 다른 단계에서는 승인을 받을 수 있다는 뜻입니다. 그는 데이터 수집, 분류, 초안 작성, 선택지 비교처럼 자료를 읽는 업무에서 거의 자율적인 활용을 보고 있습니다. Taupia는 에너지 요금제를 비교하고 공급자 변경을 준비하는 에이전트를 시험 중이며, 변경이 적용되기 전에 고객이 직접 검토하고 확인해야 합니다. 되돌릴 수 없는 조치에 자율 권한을 줄지는 지출 한도, 대기 기간, 실행 취소, 감사 기록 등을 통해 조치를 되돌릴 수 있거나 범위를 제한할 수 있는지에 달렸다고 로우는 말했습니다. 계약 서명이나 계좌 간 자금 이동처럼 되돌릴 수 없는 조치에는 사람의 승인을 유지하겠다고 했습니다.

Text의 최고기술책임자 마치에이 발라슈치크(Maciej Walaszczyk)는 사람에게서 제공받은 지식으로 학습한 고객 서비스 에이전트는 계속 감독하지 않아도 문의에 답할 수 있으며, 자율성은 권한과 결과에 따라 정해야 한다고 말했습니다. 그는 부서 전체를 넘기기보다 목표와 경계, 검증 가능한 결과를 정해 특정 절차를 맡기라고 권고했습니다. 에이전트가 대리하는 사람보다 더 큰 권한을 가져서는 안 된다는 입장입니다. 신뢰를 위해서는 실질적인 감독과 검증된 결과가 필요하며, 되돌릴 수 없거나 큰 결과를 낳는 조치에는 사람의 검토가 계속 필요합니다. ‘AI가 했다’는 이유로 책임이 사라지지는 않는다고 발라슈치크는 말했습니다.