AQe Digital의 매니징 디렉터 겸 CEO인 Amit Mehta는 AI 에이전트가 실수했을 때 누가 책임지는지 경영진이 정하지 않아 기업들이 AI에 의사결정을 맡기길 주저한다고 말했습니다. 그는 증거를 바탕으로 워크플로 하나씩 자율성을 부여하는 방식을 ‘신뢰 사다리’라고 부릅니다. AQe Digital에서는 650명 넘는 직원이 소프트웨어 컨설팅, 제품 엔지니어링, AI 및 머신러닝 솔루션, 디지털 서비스, 건축·건설 서비스, 출판 분야에서 AI를 활용합니다. 팀들은 공장 현장에서 AI, 사물인터넷(IoT), 자동화를 적용하고, 출판사의 데이터 변환과 태깅을 자동화하며, 데이터를 활용해 소매업 구매자를 파악합니다. Mehta는 고객사에 적용하기 전 자사 업무에서 AI를 시험해 사람의 감독이 필요한 지점을 확인했다고 밝혔습니다.

Mehta는 계약서 요약과 환불 승인, 재고 재주문, 규제기관 대응은 위험 수준이 다르다고 설명했습니다. 뒤의 업무에는 책임 소재가 따르기 때문입니다. 그는 에이전트가 잘못된 결정을 내렸을 때 누가 답할지에 대한 계획이 없는 점을 핵심 장애물로 꼽았으며, 대규모로 안전하게 배포하려면 데이터, 거버넌스, 운영 기반도 필요하다고 말했습니다. 29년 넘게 관찰한 경험을 토대로 만든 신뢰 사다리는 각 워크플로의 현재 단계를 보여주고 자율성을 더 부여하기 위해 필요한 증거를 정하도록 설계됐습니다.

사다리는 5단계입니다. ‘정보 제공’ 단계에서는 AI가 요약하거나 답하고 사람이 결정하며, ‘추천’ 단계에서는 AI가 사람이 승인하거나 수정할 행동 초안을 작성합니다. ‘승인 후 실행’ 단계에서는 지정된 사람이 실행 전에 승인하고, ‘안전장치 내 실행’ 단계에서는 AI가 정해진 한도 안에서 독립적으로 행동하며 사람이 표본을 감사합니다. 마지막 ‘실행 후 보고’ 단계에서는 AI가 워크플로를 수행하고 사람이 예외를 처리합니다. Mehta가 대화한 기업 대부분은 첫 두 단계에 활용 사례가 수십 개, 세 번째 단계에는 몇 개 있으며 그보다 높은 단계에는 거의 없다고 합니다. 워크플로를 다음 단계로 올리기 전에는 에이전트의 실적이 입증됐는지, 오류를 되돌릴 수 있는지, 실수가 몇 명이나 어떤 의무에 영향을 줄 수 있는지, 실행 내용과 이유를 사후 검토할 수 있는지를 확인합니다.

Mehta는 자율성 승인을 워크플로별로 내려야 한다고 주장합니다. 금액이 적은 송장을 처리하는 에이전트는 독립적으로 작동할 준비가 됐을 수 있지만, 환자 기록이나 신용 결정에 관여하는 에이전트는 더 천천히 단계를 높여야 한다는 설명입니다. 그는 도입이 너무 빠르게 진행되는 경우와 정체되는 경우가 모두 있다고 말하면서, 비용 증가와 불분명한 사업 가치, 미흡한 위험 통제를 이유로 에이전틱 AI 프로젝트 40% 초과가 2027년 말까지 취소될 것이라는 Gartner 전망을 인용했습니다. Mehta는 해당 워크플로의 사업 책임자가 승급을 결정하고, 위험 및 기술 책임자가 분기마다 증거를 검토해 유지·승급·하향을 선택하라고 권했습니다. AQe Digital은 기업의 의사결정 기록, 롤백 수단, 승인 지점, 운영 한계, AI 로드맵 수립을 지원한다고 밝혔습니다. Mehta는 향후 90일 동안 리더들이 활용 사례를 5단계에 배치하고, 물량이 많고 오류를 적은 비용으로 되돌릴 수 있는 워크플로를 골라 이번 분기에 한 단계 올린 뒤, 다시 낮출 조건을 문서화하라고 조언했습니다.

AQe Digital의 매니징 디렉터 겸 CEO인 Amit Mehta는 AI 에이전트가 실수했을 때 누가 책임지는지 경영진이 정하지 않아 기업들이 AI에 의사결정을 맡기길 주저한다고 말했습니다. 그는 증거를 바탕으로 워크플로 하나씩 자율성을 부여하는 방식을 ‘신뢰 사다리’라고 부릅니다. AQe Digital에서는 650명 넘는 직원이 소프트웨어 컨설팅, 제품 엔지니어링, AI 및 머신러닝 솔루션, 디지털 서비스, 건축·건설 서비스, 출판 분야에서 AI를 활용합니다. 팀들은 공장 현장에서 AI, 사물인터넷(IoT), 자동화를 적용하고, 출판사의 데이터 변환과 태깅을 자동화하며, 데이터를 활용해 소매업 구매자를 파악합니다. Mehta는 고객사에 적용하기 전 자사 업무에서 AI를 시험해 사람의 감독이 필요한 지점을 확인했다고 밝혔습니다.

Mehta는 계약서 요약과 환불 승인, 재고 재주문, 규제기관 대응은 위험 수준이 다르다고 설명했습니다. 뒤의 업무에는 책임 소재가 따르기 때문입니다. 그는 에이전트가 잘못된 결정을 내렸을 때 누가 답할지에 대한 계획이 없는 점을 핵심 장애물로 꼽았으며, 대규모로 안전하게 배포하려면 데이터, 거버넌스, 운영 기반도 필요하다고 말했습니다. 29년 넘게 관찰한 경험을 토대로 만든 신뢰 사다리는 각 워크플로의 현재 단계를 보여주고 자율성을 더 부여하기 위해 필요한 증거를 정하도록 설계됐습니다.

사다리는 5단계입니다. ‘정보 제공’ 단계에서는 AI가 요약하거나 답하고 사람이 결정하며, ‘추천’ 단계에서는 AI가 사람이 승인하거나 수정할 행동 초안을 작성합니다. ‘승인 후 실행’ 단계에서는 지정된 사람이 실행 전에 승인하고, ‘안전장치 내 실행’ 단계에서는 AI가 정해진 한도 안에서 독립적으로 행동하며 사람이 표본을 감사합니다. 마지막 ‘실행 후 보고’ 단계에서는 AI가 워크플로를 수행하고 사람이 예외를 처리합니다. Mehta가 대화한 기업 대부분은 첫 두 단계에 활용 사례가 수십 개, 세 번째 단계에는 몇 개 있으며 그보다 높은 단계에는 거의 없다고 합니다. 워크플로를 다음 단계로 올리기 전에는 에이전트의 실적이 입증됐는지, 오류를 되돌릴 수 있는지, 실수가 몇 명이나 어떤 의무에 영향을 줄 수 있는지, 실행 내용과 이유를 사후 검토할 수 있는지를 확인합니다.

Mehta는 자율성 승인을 워크플로별로 내려야 한다고 주장합니다. 금액이 적은 송장을 처리하는 에이전트는 독립적으로 작동할 준비가 됐을 수 있지만, 환자 기록이나 신용 결정에 관여하는 에이전트는 더 천천히 단계를 높여야 한다는 설명입니다. 그는 도입이 너무 빠르게 진행되는 경우와 정체되는 경우가 모두 있다고 말하면서, 비용 증가와 불분명한 사업 가치, 미흡한 위험 통제를 이유로 에이전틱 AI 프로젝트 40% 초과가 2027년 말까지 취소될 것이라는 Gartner 전망을 인용했습니다. Mehta는 해당 워크플로의 사업 책임자가 승급을 결정하고, 위험 및 기술 책임자가 분기마다 증거를 검토해 유지·승급·하향을 선택하라고 권했습니다. AQe Digital은 기업의 의사결정 기록, 롤백 수단, 승인 지점, 운영 한계, AI 로드맵 수립을 지원한다고 밝혔습니다. Mehta는 향후 90일 동안 리더들이 활용 사례를 5단계에 배치하고, 물량이 많고 오류를 적은 비용으로 되돌릴 수 있는 워크플로를 골라 이번 분기에 한 단계 올린 뒤, 다시 낮출 조건을 문서화하라고 조언했습니다.