공공기관, AI 도입 전 데이터 감사 필요

공공기관은 AI 도구를 도입하기 전 공급업체, 보안, 조달, 직원 교육을 점검하는 경우가 많지만, AI가 사용할 데이터를 감사하는 곳은 더 적습니다. 시범 운영 단계에서 실제 운영으로 넘어가면 오류가 시험 환경에 머물지 않고 주민에게 영향을 줄 수 있습니다. Government Technology 기고자는 미시간주의 자동 실업 사기 판정 시스템에 대한 주 검토를 사례로 들었습니다. 2만 건이 넘는 판정을 살펴본 결과 오류율은 93%였습니다. 해당 시스템은 오늘날의 AI는 아니지만, 자동화가 숨은 가정과 잘못된 데이터를 어떻게 대규모로 적용할 수 있는지 보여주는 사례입니다.

Government Technology 기고자 수만트 쿠마르 가데(Sumanth Kumar Gadde)는 기관이 검증해야 할 세 가지 가정을 꼽았습니다. 공식 데이터는 정확하고, 기록이 충돌하면 더 새롭거나 규모가 큰 시스템의 정보가 옳으며, 모델이 예측하는 결과가 기관이 중요하게 여겨야 할 결과라는 가정입니다. 부서 간 데이터 소유권이 불분명하면 해당 정보가 모델에 적합한지 책임질 담당자가 정해지지 않을 수 있습니다.

데이터 출처 감사에서는 각 데이터 집합의 출처와 소유자, 마지막 검증 시점, 기록이 충돌할 때 우선하는 출처, 의사결정에 충분히 최신인지를 확인합니다. 예측 대상 감사는 모델이 측정하는 결과가 실제 목표를 반영하는지, 데이터가 영향을 받는 사람들을 대표하는지, 집단별 오류율에 차이가 있는지를 살핍니다. 또한 우편번호, 이름, 언어, 졸업일, 근무 이력, 고용 공백, 특정 의료·복지 코드처럼 보호 특성이나 그 대리 지표가 포함됐는지도 확인합니다.

가데는 과거 임대주택 점검 기록을 바탕으로 조사관이 먼저 방문할 건물을 정하는 한 카운티의 사례로 위험을 설명했습니다. 과거 점검이 같은 지역에 집중됐다면 다른 지역의 위반 사항은 기록에 아예 들어가지 않았을 수 있습니다. 이런 기록을 사용하는 모델은 조사관을 익숙한 지역으로 계속 보내 다른 문제를 드러내지 못하고, 데이터에 담긴 기존 패턴을 강화할 수 있습니다.

안전장치 감사에서는 고위험 권고가 효력을 내기 전에 권한 있는 검토자가 확인하는지, 주민이 결정을 이의 제기할 수 있는지, 출시 시점의 데이터와 모델 성능이 기준선으로 기록되는지 점검합니다. 기관은 데이터 변화(모델 드리프트)를 감시할 담당자를 지정하고 그에게 시스템을 중단할 권한도 줘야 합니다. 가데는 모든 AI 사업 계획에 데이터 준비도 점검 절차를 넣고, 오답이 가장 큰 피해를 낳을 수 있는 용도부터 시작하며, 승인할 데이터 책임자를 정해 조사 결과를 기록하라고 권고했습니다. 그는 출시 전에 발견한 미해결 질문은 나중에 발견하는 질문보다 비용이 적게 들며, 뒤늦은 문제는 돈과 공공의 신뢰, 복지 혜택 또는 생계를 잃게 할 수 있다고 말했습니다.

공공기관은 AI 도구를 도입하기 전 공급업체, 보안, 조달, 직원 교육을 점검하는 경우가 많지만, AI가 사용할 데이터를 감사하는 곳은 더 적습니다. 시범 운영 단계에서 실제 운영으로 넘어가면 오류가 시험 환경에 머물지 않고 주민에게 영향을 줄 수 있습니다. Government Technology 기고자는 미시간주의 자동 실업 사기 판정 시스템에 대한 주 검토를 사례로 들었습니다. 2만 건이 넘는 판정을 살펴본 결과 오류율은 93%였습니다. 해당 시스템은 오늘날의 AI는 아니지만, 자동화가 숨은 가정과 잘못된 데이터를 어떻게 대규모로 적용할 수 있는지 보여주는 사례입니다.

Government Technology 기고자 수만트 쿠마르 가데(Sumanth Kumar Gadde)는 기관이 검증해야 할 세 가지 가정을 꼽았습니다. 공식 데이터는 정확하고, 기록이 충돌하면 더 새롭거나 규모가 큰 시스템의 정보가 옳으며, 모델이 예측하는 결과가 기관이 중요하게 여겨야 할 결과라는 가정입니다. 부서 간 데이터 소유권이 불분명하면 해당 정보가 모델에 적합한지 책임질 담당자가 정해지지 않을 수 있습니다.

데이터 출처 감사에서는 각 데이터 집합의 출처와 소유자, 마지막 검증 시점, 기록이 충돌할 때 우선하는 출처, 의사결정에 충분히 최신인지를 확인합니다. 예측 대상 감사는 모델이 측정하는 결과가 실제 목표를 반영하는지, 데이터가 영향을 받는 사람들을 대표하는지, 집단별 오류율에 차이가 있는지를 살핍니다. 또한 우편번호, 이름, 언어, 졸업일, 근무 이력, 고용 공백, 특정 의료·복지 코드처럼 보호 특성이나 그 대리 지표가 포함됐는지도 확인합니다.

가데는 과거 임대주택 점검 기록을 바탕으로 조사관이 먼저 방문할 건물을 정하는 한 카운티의 사례로 위험을 설명했습니다. 과거 점검이 같은 지역에 집중됐다면 다른 지역의 위반 사항은 기록에 아예 들어가지 않았을 수 있습니다. 이런 기록을 사용하는 모델은 조사관을 익숙한 지역으로 계속 보내 다른 문제를 드러내지 못하고, 데이터에 담긴 기존 패턴을 강화할 수 있습니다.

안전장치 감사에서는 고위험 권고가 효력을 내기 전에 권한 있는 검토자가 확인하는지, 주민이 결정을 이의 제기할 수 있는지, 출시 시점의 데이터와 모델 성능이 기준선으로 기록되는지 점검합니다. 기관은 데이터 변화(모델 드리프트)를 감시할 담당자를 지정하고 그에게 시스템을 중단할 권한도 줘야 합니다. 가데는 모든 AI 사업 계획에 데이터 준비도 점검 절차를 넣고, 오답이 가장 큰 피해를 낳을 수 있는 용도부터 시작하며, 승인할 데이터 책임자를 정해 조사 결과를 기록하라고 권고했습니다. 그는 출시 전에 발견한 미해결 질문은 나중에 발견하는 질문보다 비용이 적게 들며, 뒤늦은 문제는 돈과 공공의 신뢰, 복지 혜택 또는 생계를 잃게 할 수 있다고 말했습니다.