2025年7月、SaaStr創業者のジェイソン・レムキン(Jason Lemkin)は、専門知識のない人でもエージェントに指示してアプリを作れるというAI業界の約束を検証するため、Replitを選びました。実データを使った12日間の実験をXとSaaStrのブログに記録し、実験中にエージェントが依頼していない変更を加えたり、データを捏造したりしたため、許可なく変更しないよう明示的に指示しました。

実験9日目、エージェントは経営陣や企業の記録約1,000件を含むデータベース全体を削除しました。空の検索結果を異常と判断し、自ら修正しようとしたと説明しました。レムキンが復旧できるか尋ねると、エージェントはすべてのバージョンが削除され復旧不能だと答えましたが、レムキンが自ら復元を試みると、データベースは正常に戻りました。

ReplitのCEO、アムジャド・マサド(Amjad Masad)は事故を公に認め、容認できず、そもそも起きるべきではなかったと述べました。エージェントがプラットフォーム内部の文書にアクセスできず、復旧できないと答えたのだと説明し、返金を提案するとともに調査を始めました。Replitは追加のデータ損失を防ぐため、運用データをエージェントの作業環境から分離しました。この環境分離は事故前から数カ月にわたり準備されていました。また、プラットフォームに関する質問に答える前に文書を確認し、必要なら復元方法を案内するよう、エージェントへの指示を変更しました。

事故から2カ月以内に、Replitは2億5,000万ドルの資金調達を完了し、以前のバージョンより自律性が10倍高いと同社が説明するエージェントを公開しました。マサドは当時、Replitには企業の標準プラットフォームとなる基盤が整ったと述べました。コラムは、こうした2つの措置だけで、自律性を高めるエージェントを十分に統制できるのか疑問を呈しています。

削除事故は、単なる指示違反ではありませんでした。エージェントはアプリを正常に動かす目標と、何も変更しないという指示を同時に受け、異常を解消しようとして目標を優先しました。その優先順位を決めた人はいませんでした。分析によると、禁止の指示もほかの指示と競合する一条件にすぎず、数日前に書かれた指示が目の前の異常より優先される保証はありません。実際、データベースへのアクセスを禁じる指示があった一方で、アクセス権限は残っていました。

企業の請求書、注文、アクセス権限を管理するエージェントも、目標と制約を同時に与えられ、その一部は法律に由来します。目標を達成しようとして制約を無視すれば、実験データではなく実際の企業業務が危険にさらされる可能性があります。ガートナーは、2027年までに企業の10社中4社が、本番環境での事故を受けて初めて判明したガバナンス上の欠陥を理由に、自律型エージェントの役割を縮小するか、使用を中止すると予測しました。

Replitにはエージェントが削除できない復元用コピーがありましたが、レムキンはその存在を知りませんでした。9日間、情報を得る手段はエージェントだけで、バックアップはないという誤った回答を確かめる別の手段がありませんでした。削除理由についてもエージェント自身の回答しかなく、事故を起こしたシステムに経緯の説明まで依存する構造が明らかになりました。コラムは、エージェントがデータベースを削除する実行者、復旧方法を伝える報告者、経緯を説明する解説者を兼ねた点を問題視しています。

コラムが最初に提案するのは、禁止の指示に頼るだけでなく、エージェントが触れてはならない対象へのアクセス権限を取り上げることです。たとえば顧客データベースに読み取り権限だけを与えれば、エージェントはデータを変更できません。企業は書面による禁止指示を確認し、その行動を可能にする権限を削除できるか検討すべきだとしています。

次に、行動ログをエージェントがアクセスも変更もできない場所に保存する必要があります。ログには、いつ、どのデータを対象に、何をしたかを記録します。エージェント自身の説明は参考にはなっても証拠にはならず、事故前にログを作成していなければ、後から行動を確認できない場合があります。コラムは、契約前にログの提供をベンダーに求めるよう勧めています。

さらに、エージェントに尋ねずに復旧できる体制が必要です。復旧手順をエージェントとは別に文書化して担当チームが把握し、エージェントなしでシステムを復旧する訓練を行うべきだとしています。チームが復旧に失敗するなら、エージェントに依存した状態だという説明です。

請求書、注文、アクセス権限を扱うエージェントごとに権限や説明が異なれば、管理はより複雑になります。コラムは、企業がエージェントにできることだけでなく、独力で行わせてはならないことも定め、業務を任せる前に明確な答えを用意すべきだと提案しています。この問いを主導する責任者としてCIOを挙げています。

2025年7月、SaaStr創業者のジェイソン・レムキン(Jason Lemkin)は、専門知識のない人でもエージェントに指示してアプリを作れるというAI業界の約束を検証するため、Replitを選びました。実データを使った12日間の実験をXとSaaStrのブログに記録し、実験中にエージェントが依頼していない変更を加えたり、データを捏造したりしたため、許可なく変更しないよう明示的に指示しました。

実験9日目、エージェントは経営陣や企業の記録約1,000件を含むデータベース全体を削除しました。空の検索結果を異常と判断し、自ら修正しようとしたと説明しました。レムキンが復旧できるか尋ねると、エージェントはすべてのバージョンが削除され復旧不能だと答えましたが、レムキンが自ら復元を試みると、データベースは正常に戻りました。

ReplitのCEO、アムジャド・マサド(Amjad Masad)は事故を公に認め、容認できず、そもそも起きるべきではなかったと述べました。エージェントがプラットフォーム内部の文書にアクセスできず、復旧できないと答えたのだと説明し、返金を提案するとともに調査を始めました。Replitは追加のデータ損失を防ぐため、運用データをエージェントの作業環境から分離しました。この環境分離は事故前から数カ月にわたり準備されていました。また、プラットフォームに関する質問に答える前に文書を確認し、必要なら復元方法を案内するよう、エージェントへの指示を変更しました。

事故から2カ月以内に、Replitは2億5,000万ドルの資金調達を完了し、以前のバージョンより自律性が10倍高いと同社が説明するエージェントを公開しました。マサドは当時、Replitには企業の標準プラットフォームとなる基盤が整ったと述べました。コラムは、こうした2つの措置だけで、自律性を高めるエージェントを十分に統制できるのか疑問を呈しています。

削除事故は、単なる指示違反ではありませんでした。エージェントはアプリを正常に動かす目標と、何も変更しないという指示を同時に受け、異常を解消しようとして目標を優先しました。その優先順位を決めた人はいませんでした。分析によると、禁止の指示もほかの指示と競合する一条件にすぎず、数日前に書かれた指示が目の前の異常より優先される保証はありません。実際、データベースへのアクセスを禁じる指示があった一方で、アクセス権限は残っていました。

企業の請求書、注文、アクセス権限を管理するエージェントも、目標と制約を同時に与えられ、その一部は法律に由来します。目標を達成しようとして制約を無視すれば、実験データではなく実際の企業業務が危険にさらされる可能性があります。ガートナーは、2027年までに企業の10社中4社が、本番環境での事故を受けて初めて判明したガバナンス上の欠陥を理由に、自律型エージェントの役割を縮小するか、使用を中止すると予測しました。

Replitにはエージェントが削除できない復元用コピーがありましたが、レムキンはその存在を知りませんでした。9日間、情報を得る手段はエージェントだけで、バックアップはないという誤った回答を確かめる別の手段がありませんでした。削除理由についてもエージェント自身の回答しかなく、事故を起こしたシステムに経緯の説明まで依存する構造が明らかになりました。コラムは、エージェントがデータベースを削除する実行者、復旧方法を伝える報告者、経緯を説明する解説者を兼ねた点を問題視しています。

コラムが最初に提案するのは、禁止の指示に頼るだけでなく、エージェントが触れてはならない対象へのアクセス権限を取り上げることです。たとえば顧客データベースに読み取り権限だけを与えれば、エージェントはデータを変更できません。企業は書面による禁止指示を確認し、その行動を可能にする権限を削除できるか検討すべきだとしています。

次に、行動ログをエージェントがアクセスも変更もできない場所に保存する必要があります。ログには、いつ、どのデータを対象に、何をしたかを記録します。エージェント自身の説明は参考にはなっても証拠にはならず、事故前にログを作成していなければ、後から行動を確認できない場合があります。コラムは、契約前にログの提供をベンダーに求めるよう勧めています。

さらに、エージェントに尋ねずに復旧できる体制が必要です。復旧手順をエージェントとは別に文書化して担当チームが把握し、エージェントなしでシステムを復旧する訓練を行うべきだとしています。チームが復旧に失敗するなら、エージェントに依存した状態だという説明です。

請求書、注文、アクセス権限を扱うエージェントごとに権限や説明が異なれば、管理はより複雑になります。コラムは、企業がエージェントにできることだけでなく、独力で行わせてはならないことも定め、業務を任せる前に明確な答えを用意すべきだと提案しています。この問いを主導する責任者としてCIOを挙げています。