에이전트 워크플로우에 인간의 승인 절차 도입
- •마이콜라 콘드라티우크는 슬랙 상태 업데이트 오류를 방지하기 위해 에이전트에 강제적인 인간 거부권을 도입했다.
- •초기 단순 승인 방식에서 발생하는 무분별한 확인 문제를 해결하기 위해 강제 텍스트 입력이라는 마찰 요소를 추가했다.
- •개선된 워크플로우는 행동의 심각성을 기반으로 분류하며, 돌이킬 수 없는 작업에만 인간의 승인을 요구한다.
자동화 엔지니어 마이콜라 콘드라티우크(Mykola Kondratiuk)는 3개월간 두 차례의 부끄러운 오류를 겪은 후, 프로젝트 관리 에이전트에 강제적인 인간 거부권(Human Veto Gate)을 도입했다. 지라(Jira)에서 데이터를 추출해 슬랙(Slack)에 주간 요약을 게시하는 해당 에이전트는 이전에 오래된 정보를 공유하거나 연체된 티켓을 잘못 식별하는 실수를 범했다. 콘드라티우크는 에이전트의 로직을 수정하는 대신, 팀 전체에 메시지가 게시되기 전에 인간의 승인(엄지척 이모지 클릭)을 필수로 거치도록 워크플로우 구조를 변경했다. 이는 인간의 개입을 선택적인 안전 기능이 아닌 기본 요구 사항으로 간주하는 마이크로소프트 콘덕터(Microsoft Conductor)의 원칙을 따른 것이다.
도입 3주 만에 콘드라티우크는 단순 승인 버튼이 사용자가 내용을 검토하지 않고 기계적으로 승인하는 '고무 도장(rubber-stamping)' 효과를 낳는다는 점을 발견했다. 이를 해결하기 위해 그는 단순히 이모지를 클릭하는 대신 최소 한 단어 이상의 텍스트를 입력해야만 승인이 완료되도록 강제적인 마찰 요소를 추가했다. 이 조치는 의사 결정 과정에서 인간의 적극적인 참여를 보장한다.
추가적인 워크플로우 개선으로 작업 성격에 따른 3단계 심각도 분류 시스템이 마련되었다. 낮은 영향도의 작업은 자동 승인되지만, 중간 수준은 검토 알림이 발송되며, 영향도가 높은 작업은 반드시 인간의 승인을 거쳐야 한다. 또한 승인 대기 시간은 기존 2시간에서 30분으로 단축되었으며, 작업이 보류될 경우 슬랙 알림이 단계적으로 강화된다. 콘드라티우크는 금요일 밤 11시에 되돌리기 어려운 작업인지 여부를 기준으로 인간 승인 여부를 결정하는 명확한 기준을 정립했다. 6주간의 운영 결과, 시스템은 두 건의 오류를 성공적으로 차단했으며 하루 평균 3분의 추가 작업만으로 초안 품질을 향상시켰다.