AI 에이전트 확산에 책임성 우려

가트너는 글로벌 포춘 500대 기업이 운영하는 AI 에이전트가 평균 2025년 15개 미만에서 2028년 15만 개 초과로 늘 것으로 전망했습니다. 같은 보고서에서 설문 응답자 360명 중 13%만 소속 조직에 적절한 거버넌스가 마련돼 있다고 답했습니다. 기업이 여러 업무 흐름에 에이전트를 연결하면 피해를 일으킨 결과물의 책임자를 가리기 어려울 수 있습니다. 1월 1일 발효된 캘리포니아주 법은 피고가 책임 청구에 대한 항변으로 AI 에이전트의 자율 작동을 내세우는 것을 금지합니다.

Apply Digital 최고경영자 알리 알카파지는 에이전트가 몇 개나 결과물 생성에 참여했는지와 무관하게, 배포 전에 모든 시스템 결과물마다 이름을 밝힌 사람 책임자를 지정해야 한다고 말합니다. 그의 조직은 고객과의 업무를 시작할 때 인간 실무자와 함께 일하는 에이전트를 최소 50% 포함한 ‘매트릭스 팀’을 구성합니다. 결과물 책임자를 특정할 수 없다면 해당 시스템을 배포할 준비가 되지 않았다는 게 그의 설명입니다.

알카파지는 초기 단계의 결정이 후속 에이전트가 알 수 있는 정보를 제한해, 사람이 검토하기 전에 오류가 누적될 수 있으므로 에이전트 간 인수인계를 세심하게 설계해야 한다고 말합니다. 그의 팀은 작업과 함께 맥락도 전달하는 ‘원활한 인수인계’를 사용합니다. 유용한 인수인계 기록에는 에이전트의 목표, 접근할 수 있었던 데이터, 신뢰도, 취한 조치 등 최소 4개 항목이 담깁니다. 이런 기록을 보면 사람은 전체 과정을 먼저 재구성하지 않고도 대응을 결정할 수 있습니다.

그는 감사 추적에 최종 결과물만이 아니라 추론 과정도 기록해야 한다고 주장합니다. 그의 팀은 배포 전에 에이전트 경계마다 기록할 입력값, 신뢰도 신호, 조치, 인수인계 항목을 정합니다. 기록이 없으면 사고 검토는 추측에 의존하게 됩니다. 문제는 신뢰가 서서히 무너지고, 몇 달 뒤 규정 준수 공백이 발견되거나, 결정의 책임자를 추적할 수 없는 형태로 드러날 수도 있습니다. 알카파지는 IT 책임자들에게 현재 작동 중인 에이전트 업무 흐름을 파악해 모든 결과물의 책임자를 지정하고, 각 경계의 인수인계 절차를 문서화하며, 로그에 최종 결과물뿐 아니라 입력값과 신뢰도 신호, 추론 단계도 담겼는지 확인하라고 촉구합니다. 사고가 난 뒤 감사 인프라를 추가하면 처음부터 구축하는 것보다 비용이 훨씬 더 든다고 그는 말합니다.

가트너는 글로벌 포춘 500대 기업이 운영하는 AI 에이전트가 평균 2025년 15개 미만에서 2028년 15만 개 초과로 늘 것으로 전망했습니다. 같은 보고서에서 설문 응답자 360명 중 13%만 소속 조직에 적절한 거버넌스가 마련돼 있다고 답했습니다. 기업이 여러 업무 흐름에 에이전트를 연결하면 피해를 일으킨 결과물의 책임자를 가리기 어려울 수 있습니다. 1월 1일 발효된 캘리포니아주 법은 피고가 책임 청구에 대한 항변으로 AI 에이전트의 자율 작동을 내세우는 것을 금지합니다.

Apply Digital 최고경영자 알리 알카파지는 에이전트가 몇 개나 결과물 생성에 참여했는지와 무관하게, 배포 전에 모든 시스템 결과물마다 이름을 밝힌 사람 책임자를 지정해야 한다고 말합니다. 그의 조직은 고객과의 업무를 시작할 때 인간 실무자와 함께 일하는 에이전트를 최소 50% 포함한 ‘매트릭스 팀’을 구성합니다. 결과물 책임자를 특정할 수 없다면 해당 시스템을 배포할 준비가 되지 않았다는 게 그의 설명입니다.

알카파지는 초기 단계의 결정이 후속 에이전트가 알 수 있는 정보를 제한해, 사람이 검토하기 전에 오류가 누적될 수 있으므로 에이전트 간 인수인계를 세심하게 설계해야 한다고 말합니다. 그의 팀은 작업과 함께 맥락도 전달하는 ‘원활한 인수인계’를 사용합니다. 유용한 인수인계 기록에는 에이전트의 목표, 접근할 수 있었던 데이터, 신뢰도, 취한 조치 등 최소 4개 항목이 담깁니다. 이런 기록을 보면 사람은 전체 과정을 먼저 재구성하지 않고도 대응을 결정할 수 있습니다.

그는 감사 추적에 최종 결과물만이 아니라 추론 과정도 기록해야 한다고 주장합니다. 그의 팀은 배포 전에 에이전트 경계마다 기록할 입력값, 신뢰도 신호, 조치, 인수인계 항목을 정합니다. 기록이 없으면 사고 검토는 추측에 의존하게 됩니다. 문제는 신뢰가 서서히 무너지고, 몇 달 뒤 규정 준수 공백이 발견되거나, 결정의 책임자를 추적할 수 없는 형태로 드러날 수도 있습니다. 알카파지는 IT 책임자들에게 현재 작동 중인 에이전트 업무 흐름을 파악해 모든 결과물의 책임자를 지정하고, 각 경계의 인수인계 절차를 문서화하며, 로그에 최종 결과물뿐 아니라 입력값과 신뢰도 신호, 추론 단계도 담겼는지 확인하라고 촉구합니다. 사고가 난 뒤 감사 인프라를 추가하면 처음부터 구축하는 것보다 비용이 훨씬 더 든다고 그는 말합니다.