시스템은 언젠가 고장 나기 마련이며, 이는 엔지니어링의 피할 수 없는 현실이다. 그러나 응급 의료나 금융 거래처럼 실패의 대가가 큰 분야에 인공지능이 도입되면서, 이제 질문은 '고장을 어떻게 예방할 것인가'에서 '어떻게 올바르게 고장 날 것인가'로 옮겨가고 있다. 댄 드워키스(Dan Dworkis) 박사는 실패를 의도적으로 고려하는 것이 단순한 이론적 연습을 넘어 설계의 필수 요소라고 강조한다.

드워키스 박사는 실패를 정의하는 세 가지 축으로 방향, 타이밍, 범위를 제시한다. 시스템이 결함을 일으킬 때 인간 제어 모드로 전환하는 것과 같은 '안정성 지향 실패'는 차선책을 확보하는 전략이다. 반면, 항공기가 착륙 과정에서 불안정할 때 수행하는 복행(go-around) 기동처럼, 위험한 상황을 피하는 방향으로 시스템을 유도하는 것 또한 핵심적인 설계 원칙이다.

실패의 타이밍 또한 시스템의 수명을 결정짓는 중요한 요소다. 조기에 실패를 인지하면 자원을 보존하고 더 큰 오류를 범하기 전에 경로를 수정할 수 있다. 하지만 병원의 산소 공급 시스템처럼 제한된 자원을 다룰 때는 늦은 시점의 실패가 불가피할 수 있는데, 이때는 투명하고 통제된 방식의 경고 신호를 제공하는 것이 핵심이다.

또한 부분적인 기능 상실과 시스템 전체의 정지는 명확히 구분되어야 한다. 예를 들어 영상 후두경의 카메라가 작동하지 않아도 수동 도구로 사용할 수 있다면 이는 부분적 실패다. 반대로 지진 발생 시 붕괴 위험이 있는 다리를 즉시 폐쇄하는 것은 전략적 전체 실패인데, 이러한 구분은 예기치 못한 상황에서도 시스템의 운영을 유지하게 한다.

인간-AI 팀에서 이러한 설계는 특히 중요하다. 인간 운영자와 인공지능이 시스템의 실패 방식에 대해 서로 다른 직관을 가질 경우 위기 상황에서 치명적인 마찰이 발생한다. 성공적인 협업을 위해서는 실패 모델을 사전에 명확히 프로그래밍하고 논의함으로써, 압박이 심한 환경에서도 안전하고 일관된 성능을 보장해야 한다.

시스템은 언젠가 고장 나기 마련이며, 이는 엔지니어링의 피할 수 없는 현실이다. 그러나 응급 의료나 금융 거래처럼 실패의 대가가 큰 분야에 인공지능이 도입되면서, 이제 질문은 '고장을 어떻게 예방할 것인가'에서 '어떻게 올바르게 고장 날 것인가'로 옮겨가고 있다. 댄 드워키스(Dan Dworkis) 박사는 실패를 의도적으로 고려하는 것이 단순한 이론적 연습을 넘어 설계의 필수 요소라고 강조한다.

드워키스 박사는 실패를 정의하는 세 가지 축으로 방향, 타이밍, 범위를 제시한다. 시스템이 결함을 일으킬 때 인간 제어 모드로 전환하는 것과 같은 '안정성 지향 실패'는 차선책을 확보하는 전략이다. 반면, 항공기가 착륙 과정에서 불안정할 때 수행하는 복행(go-around) 기동처럼, 위험한 상황을 피하는 방향으로 시스템을 유도하는 것 또한 핵심적인 설계 원칙이다.

실패의 타이밍 또한 시스템의 수명을 결정짓는 중요한 요소다. 조기에 실패를 인지하면 자원을 보존하고 더 큰 오류를 범하기 전에 경로를 수정할 수 있다. 하지만 병원의 산소 공급 시스템처럼 제한된 자원을 다룰 때는 늦은 시점의 실패가 불가피할 수 있는데, 이때는 투명하고 통제된 방식의 경고 신호를 제공하는 것이 핵심이다.

또한 부분적인 기능 상실과 시스템 전체의 정지는 명확히 구분되어야 한다. 예를 들어 영상 후두경의 카메라가 작동하지 않아도 수동 도구로 사용할 수 있다면 이는 부분적 실패다. 반대로 지진 발생 시 붕괴 위험이 있는 다리를 즉시 폐쇄하는 것은 전략적 전체 실패인데, 이러한 구분은 예기치 못한 상황에서도 시스템의 운영을 유지하게 한다.

인간-AI 팀에서 이러한 설계는 특히 중요하다. 인간 운영자와 인공지능이 시스템의 실패 방식에 대해 서로 다른 직관을 가질 경우 위기 상황에서 치명적인 마찰이 발생한다. 성공적인 협업을 위해서는 실패 모델을 사전에 명확히 프로그래밍하고 논의함으로써, 압박이 심한 환경에서도 안전하고 일관된 성능을 보장해야 한다.