システムは必ず故障する。これはエンジニアリングにおける避けられない現実である。緊急医療から金融取引まで、AIの導入が拡大する中、重要な問いは「いかに故障を防ぐか」から「いかに正しく故障するか」へとシフトしている。救急医学の専門家であるダン・ドワークス(Dan Dworkis)は、 Stoicism（ストア派）が「不幸の予見」と呼んだ、故障を熟考する姿勢こそが設計上の必須要件だと主張する。

ドワークスは、故障を「方向」「タイミング」「規模」の3つの軸で定義することを提案する。「フェイリング・トゥワード（安定性への移行）」は、AIの不調時に人間が制御を取り戻すなど、代替となる安定状態を見つける戦略である。逆に、航空機が着陸不安定時に回避行動をとるように、リスクの高い領域を避ける「フェイリング・アウェイ（リスク回避）」の概念も重要だ。これらのベクトルを定義することで、中核機能が停止してもシステムを維持するガードレールが機能する。

故障の発生時期という観点もシステムの寿命を左右する。早めに故障を検知すればリソースを節約し、致命的な経路へ突き進む前に軌道修正が可能となる。一方、病院での酸素供給のようにリソースが限られた状況では、最後まで粘る「遅い故障」が必要となる場合もある。重要なのは崩壊を待つことではなく、早期に予兆を提示し、制御可能で透明性の高い状態へと移行させることである。

さらに、部分故障と完全故障の区別も不可欠だ。カメラを失っても手動ツールとして機能する喉頭鏡のように、一部の機能を維持できるシステムは価値を失わない。一方で、地震後に橋を封鎖するように、連鎖的な壊滅被害を防ぐために意図的にシステムを「完全停止」させるという戦略的な選択も存在する。この区別が、予期せぬ事態でも運用を継続するための冗長性を生む。

このフレームワークは、合意の重みが大きい人間とAIのチームにおいて特に差し迫った課題だ。システムがどのように故障すべきかという直感において、人間と機械が食い違えば、危機的状況で必ず摩擦が生じる。一方が人間への主導権委譲を試み、もう一方が価値抽出のために粘ろうとすれば混乱は避けられない。事前に故障モデルを明確に定義し、対話しておくことこそが、極限状態での安全な協調を保証する唯一の道である。

システムは必ず故障する。これはエンジニアリングにおける避けられない現実である。緊急医療から金融取引まで、AIの導入が拡大する中、重要な問いは「いかに故障を防ぐか」から「いかに正しく故障するか」へとシフトしている。救急医学の専門家であるダン・ドワークス(Dan Dworkis)は、 Stoicism（ストア派）が「不幸の予見」と呼んだ、故障を熟考する姿勢こそが設計上の必須要件だと主張する。

ドワークスは、故障を「方向」「タイミング」「規模」の3つの軸で定義することを提案する。「フェイリング・トゥワード（安定性への移行）」は、AIの不調時に人間が制御を取り戻すなど、代替となる安定状態を見つける戦略である。逆に、航空機が着陸不安定時に回避行動をとるように、リスクの高い領域を避ける「フェイリング・アウェイ（リスク回避）」の概念も重要だ。これらのベクトルを定義することで、中核機能が停止してもシステムを維持するガードレールが機能する。

故障の発生時期という観点もシステムの寿命を左右する。早めに故障を検知すればリソースを節約し、致命的な経路へ突き進む前に軌道修正が可能となる。一方、病院での酸素供給のようにリソースが限られた状況では、最後まで粘る「遅い故障」が必要となる場合もある。重要なのは崩壊を待つことではなく、早期に予兆を提示し、制御可能で透明性の高い状態へと移行させることである。

さらに、部分故障と完全故障の区別も不可欠だ。カメラを失っても手動ツールとして機能する喉頭鏡のように、一部の機能を維持できるシステムは価値を失わない。一方で、地震後に橋を封鎖するように、連鎖的な壊滅被害を防ぐために意図的にシステムを「完全停止」させるという戦略的な選択も存在する。この区別が、予期せぬ事態でも運用を継続するための冗長性を生む。

このフレームワークは、合意の重みが大きい人間とAIのチームにおいて特に差し迫った課題だ。システムがどのように故障すべきかという直感において、人間と機械が食い違えば、危機的状況で必ず摩擦が生じる。一方が人間への主導権委譲を試み、もう一方が価値抽出のために粘ろうとすれば混乱は避けられない。事前に故障モデルを明確に定義し、対話しておくことこそが、極限状態での安全な協調を保証する唯一の道である。