기업들, AI 통제 장치 마련

기업 기술 책임자들은 AI 배포가 빨라지고 에이전트가 처음 받은 지시를 넘어설 수 있게 되면서 조직별 통제 장치를 마련하고 있습니다. 국제 개인정보 전문가 협회 AI 거버넌스 센터의 상무이사 애슐리 카소반(Ashley Casovan)은 용도와 맥락에 맞는 기준을 고르기가 점점 어려워지고 있다고 말했습니다. 미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크와 ISO 42001 같은 기존 기준은 출발점을 제공하지만, 일반적인 거버넌스 질문만으로는 분야별 공백이 남습니다. 카소반은 책임 있는 사용을 정하고 정확도와 편향을 평가하며 내부 정책의 적용 방식을 판단하려면 정책·법률·윤리·기술 분야의 전문성을 갖춘 위원회가 필요하다고 밝혔습니다.

Salesforce의 최고 윤리·인간적 사용 책임자 폴라 골드먼(Paula Goldman)은 고객 사용 정책과 제품에 내장된 보호 장치, 실제 사용 전 문제를 찾는 시험을 회사의 통제 수단으로 꼽았습니다. Salesforce는 모델을 고를 때 일반 소비자 상황에만 맞춰 시험하지 않고, 고객관계관리(CRM) 업무와 기업 목표에 비춰 평가합니다. 보험사 MSIG USA의 최고정보·전환책임자 프라샨트 힌지(Prashant Hinge)는 모든 업무에 최첨단 모델이 필요한 것은 아니라며 기업 가치와 보안, 데이터 출처 추적, 비용을 함께 따져야 한다고 말했습니다. 그는 공급업체 파산이나 매각을 비롯한 위험과 특정 업체 종속을 줄이도록 모델과 에이전트를 신속히 교체할 계획도 세우라고 권했습니다.

골드먼은 기업 책임자들이 공급업체가 회사 데이터를 학습에 쓰지 않는다는 보장을 원하는 경우가 많다고 말했습니다. 힌지는 공급업체 정책을 검토하고 실제 적용 사례를 요청하며, 3차·4차 협력업체 관계도 살펴보라고 권했습니다. 기업 데이터를 모두 대형 최첨단 모델에 보내면 조직의 업무 방식이 드러날 수 있으며, 일부 기업은 대신 소형 언어 모델을 사용해 조직 지식에 대한 통제권을 유지할 수 있다고 그는 말했습니다.

에이전트가 더 많은 업무를 맡아도 모든 데이터 항목을 사람이 검토할 필요는 없지만, 골드먼은 행동과 데이터 기록, 이상 징후 탐지, 사람의 개입이 필요한 상황을 알리는 수단이 필요하다고 밝혔습니다. 힌지는 직원들이 AI 결과를 그대로 받아들이는 경향 때문에 눈에 보이지 않는 기술적 보호 장치가 필요하다고 말했습니다. 또 AI가 잘못된 결정을 더 빠르고 큰 규모로 내리게 할 수 있으므로 개인의 책임도 중요하다고 덧붙였습니다.

카소반은 규제가 AI 결과에 대한 개인 책임을 명확히 정하는 데는 한계가 있어, 책임 소재가 내부 정책과 시장 반응에 달려 있다고 말했습니다. 소비자가 제품을 채택하지 않으면 AI 개발 책임자나 최고경영자(CEO)가 주주 또는 이사회 결정에 따라 궁극적으로 책임을 질 수 있다고 설명했습니다. 골드먼은 정보기술 책임자와 AI를 활용하는 사업 부문 책임자, 경영진의 지침이 함께 필요하며 엔지니어링팀에만 부담을 지워서는 안 된다고 말했습니다.

기업 기술 책임자들은 AI 배포가 빨라지고 에이전트가 처음 받은 지시를 넘어설 수 있게 되면서 조직별 통제 장치를 마련하고 있습니다. 국제 개인정보 전문가 협회 AI 거버넌스 센터의 상무이사 애슐리 카소반(Ashley Casovan)은 용도와 맥락에 맞는 기준을 고르기가 점점 어려워지고 있다고 말했습니다. 미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크와 ISO 42001 같은 기존 기준은 출발점을 제공하지만, 일반적인 거버넌스 질문만으로는 분야별 공백이 남습니다. 카소반은 책임 있는 사용을 정하고 정확도와 편향을 평가하며 내부 정책의 적용 방식을 판단하려면 정책·법률·윤리·기술 분야의 전문성을 갖춘 위원회가 필요하다고 밝혔습니다.

Salesforce의 최고 윤리·인간적 사용 책임자 폴라 골드먼(Paula Goldman)은 고객 사용 정책과 제품에 내장된 보호 장치, 실제 사용 전 문제를 찾는 시험을 회사의 통제 수단으로 꼽았습니다. Salesforce는 모델을 고를 때 일반 소비자 상황에만 맞춰 시험하지 않고, 고객관계관리(CRM) 업무와 기업 목표에 비춰 평가합니다. 보험사 MSIG USA의 최고정보·전환책임자 프라샨트 힌지(Prashant Hinge)는 모든 업무에 최첨단 모델이 필요한 것은 아니라며 기업 가치와 보안, 데이터 출처 추적, 비용을 함께 따져야 한다고 말했습니다. 그는 공급업체 파산이나 매각을 비롯한 위험과 특정 업체 종속을 줄이도록 모델과 에이전트를 신속히 교체할 계획도 세우라고 권했습니다.

골드먼은 기업 책임자들이 공급업체가 회사 데이터를 학습에 쓰지 않는다는 보장을 원하는 경우가 많다고 말했습니다. 힌지는 공급업체 정책을 검토하고 실제 적용 사례를 요청하며, 3차·4차 협력업체 관계도 살펴보라고 권했습니다. 기업 데이터를 모두 대형 최첨단 모델에 보내면 조직의 업무 방식이 드러날 수 있으며, 일부 기업은 대신 소형 언어 모델을 사용해 조직 지식에 대한 통제권을 유지할 수 있다고 그는 말했습니다.

에이전트가 더 많은 업무를 맡아도 모든 데이터 항목을 사람이 검토할 필요는 없지만, 골드먼은 행동과 데이터 기록, 이상 징후 탐지, 사람의 개입이 필요한 상황을 알리는 수단이 필요하다고 밝혔습니다. 힌지는 직원들이 AI 결과를 그대로 받아들이는 경향 때문에 눈에 보이지 않는 기술적 보호 장치가 필요하다고 말했습니다. 또 AI가 잘못된 결정을 더 빠르고 큰 규모로 내리게 할 수 있으므로 개인의 책임도 중요하다고 덧붙였습니다.

카소반은 규제가 AI 결과에 대한 개인 책임을 명확히 정하는 데는 한계가 있어, 책임 소재가 내부 정책과 시장 반응에 달려 있다고 말했습니다. 소비자가 제품을 채택하지 않으면 AI 개발 책임자나 최고경영자(CEO)가 주주 또는 이사회 결정에 따라 궁극적으로 책임을 질 수 있다고 설명했습니다. 골드먼은 정보기술 책임자와 AI를 활용하는 사업 부문 책임자, 경영진의 지침이 함께 필요하며 엔지니어링팀에만 부담을 지워서는 안 된다고 말했습니다.