アウトテイク、AIで偽装サイトと攻撃網を追跡

米国のAIセキュリティスタートアップ、アウトテイク（Outtake）は今年1月に4,000万ドルを追加調達し、累計調達額は約6,000万ドルに達しました。同社はAIエージェントを使って企業を装う偽サイトやアカウント、フィッシングコンテンツを発見し、疑わしいサイトから関連する攻撃網を追跡して、プラットフォームに削除を申請する手続きを自動化しています。パランティア出身のエンジニア、アレックス・ディロンが2023年に設立しました。ソフトウェアエンジニア兼実験的製品開発責任者のオ・テファン（James Oh）氏は、利用者がなりすまし攻撃の被害に遭う前にAIで脅威を防ぐことが同社の中核戦略だと述べました。

オ氏は、AIが脆弱性の探索と攻撃・防御の双方を加速させていると説明しました。アンソロピックは4月、モデル「Claude Mythos Preview」の脆弱性探索能力を公開し、主要ソフトウェア企業と点検に着手しました。ソフトウェアの脆弱性にはパッチで対処できますが、利用者が偽サイトやなりすましメッセージを信じて情報を渡す攻撃は、技術的な修正だけでは解決しにくいと同氏は話しました。人の信頼や判断を悪用する社会工学攻撃には、企業を装うメッセージやフィッシングが含まれます。生成AIによって、攻撃者は偽サイトやコンテンツをより簡単かつ迅速に作れるようになりました。

アウトテイクは、利用者が偽コンテンツを見分ける支援にとどまらず、脅威を早期に発見して削除申請につなげることに注力しています。同社は公開ウェブサイトやドメイン、アプリストア、ソーシャルメディアの情報を集め、AIエージェントが文章だけでなく画像・動画・音声の手がかりも分析し、企業の偽装や金融詐欺の可能性を分類します。情報収集、リスク分類、詳細調査、対応を役割分担した複数のエージェントに担わせ、それらを連携させる仕組みをエージェントオーケストレーションと呼びます。独自開発のRecon Agentは疑わしいドメインやアカウントを起点に、関連サイト、アカウント、IPアドレス、攻撃インフラを追跡して調査報告書を作成します。複数のプラットフォームで同じ詐欺が繰り返されているかも調べます。

主な顧客はテクノロジー企業、金融会社、消費財企業で、有名インフルエンサーや芸能人など個人も含まれます。米金融サービス企業Cash Appへの導入初期3カ月間に、アウトテイクは動画中心のソーシャルメディアコンテンツ350万件超を調査し、詐欺コンテンツ2,400件超を発見したと公表しました。従来のツールが主にテキストと画像を調べていたのに対し、同社は動画内の発言や音声も分析しました。OpenAIも顧客で、アウトテイクは昨年7月、OpenAIのモデルを使って脅威を検知・分類し、対応手順を自動化した事例を紹介しました。今年7月にはアンソロピックが、Claudeを活用したRecon Agentの開発過程を公開しました。AIがすべての判断を下したり、サイトを直接削除したりするわけではありません。顧客企業が保護するブランドやアカウント、判断基準を定め、難しい事例はセキュリティや法務の担当者が確認できます。削除申請後に実際にサイトやアカウントを削除するかは、各プラットフォームが決めます。

アウトテイクはAIエージェント自体をだます攻撃も調査しています。エージェントがウェブを読み、情報収集や取引を行う際、外部投稿の指示を業務命令と誤認する懸念があるためです。オ氏は今年2月、AIエージェント向けソーシャルネットワークのMoltbookを調査しました。セキュリティエージェントのOuttakeSheriffが投稿106,097件を分析して疑わしい134件を選び、別の検証エージェントがそのうち約20件を実際の脅威と判定しました。最初のエージェントが疑わしい事例を幅広く探し、2つ目が内容と文脈を再確認することで、セキュリティに関する議論を攻撃と誤認するのを抑える構成です。

調査では、人には見えないウェブページのHTMLコメントにアカウントをフォローする指示を隠した事例が確認され、トークンの送信やメール送信を促す投稿も見つかりました。外部コンテンツに悪意ある命令を隠し、AIの行動を変えようとする手法をプロンプトインジェクションと呼びます。情報や金銭が実際に盗まれた事例は確認されていませんが、エージェントがインターネット上のコンテンツを正当な指示と誤認する危険が明らかになりました。オ氏は、モデル性能の向上だけでリスクをなくすのは難しいと指摘し、外部ウェブページの疑わしい内容を除いて必要な情報だけを渡し、エージェントの権限を制限する必要があると説明しました。同社は、外部サイトを調査するエージェントが社内の機密システムにアクセスできないよう、実行環境を分離する方法も開発しています。

オ氏は、AIエージェントがインターネット上で作業する機会が増えれば、本物と偽物のサービスを見分けることが重要になると述べました。韓国のセキュリティ市場の成長可能性を前向きに評価し、AIによってソフトウェアの開発・利用コストが下がるほど、それを保護し真偽を判定するためのセキュリティ需要も高まるとの見方を示しました。また、攻撃の規模と速度はすでに変化しているとして、セキュリティ業界はAIを使った攻撃に対処し、防御側の企業もAIの活用法を学ぶ必要があると強調しました。

米国のAIセキュリティスタートアップ、アウトテイク（Outtake）は今年1月に4,000万ドルを追加調達し、累計調達額は約6,000万ドルに達しました。同社はAIエージェントを使って企業を装う偽サイトやアカウント、フィッシングコンテンツを発見し、疑わしいサイトから関連する攻撃網を追跡して、プラットフォームに削除を申請する手続きを自動化しています。パランティア出身のエンジニア、アレックス・ディロンが2023年に設立しました。ソフトウェアエンジニア兼実験的製品開発責任者のオ・テファン（James Oh）氏は、利用者がなりすまし攻撃の被害に遭う前にAIで脅威を防ぐことが同社の中核戦略だと述べました。

オ氏は、AIが脆弱性の探索と攻撃・防御の双方を加速させていると説明しました。アンソロピックは4月、モデル「Claude Mythos Preview」の脆弱性探索能力を公開し、主要ソフトウェア企業と点検に着手しました。ソフトウェアの脆弱性にはパッチで対処できますが、利用者が偽サイトやなりすましメッセージを信じて情報を渡す攻撃は、技術的な修正だけでは解決しにくいと同氏は話しました。人の信頼や判断を悪用する社会工学攻撃には、企業を装うメッセージやフィッシングが含まれます。生成AIによって、攻撃者は偽サイトやコンテンツをより簡単かつ迅速に作れるようになりました。

アウトテイクは、利用者が偽コンテンツを見分ける支援にとどまらず、脅威を早期に発見して削除申請につなげることに注力しています。同社は公開ウェブサイトやドメイン、アプリストア、ソーシャルメディアの情報を集め、AIエージェントが文章だけでなく画像・動画・音声の手がかりも分析し、企業の偽装や金融詐欺の可能性を分類します。情報収集、リスク分類、詳細調査、対応を役割分担した複数のエージェントに担わせ、それらを連携させる仕組みをエージェントオーケストレーションと呼びます。独自開発のRecon Agentは疑わしいドメインやアカウントを起点に、関連サイト、アカウント、IPアドレス、攻撃インフラを追跡して調査報告書を作成します。複数のプラットフォームで同じ詐欺が繰り返されているかも調べます。

主な顧客はテクノロジー企業、金融会社、消費財企業で、有名インフルエンサーや芸能人など個人も含まれます。米金融サービス企業Cash Appへの導入初期3カ月間に、アウトテイクは動画中心のソーシャルメディアコンテンツ350万件超を調査し、詐欺コンテンツ2,400件超を発見したと公表しました。従来のツールが主にテキストと画像を調べていたのに対し、同社は動画内の発言や音声も分析しました。OpenAIも顧客で、アウトテイクは昨年7月、OpenAIのモデルを使って脅威を検知・分類し、対応手順を自動化した事例を紹介しました。今年7月にはアンソロピックが、Claudeを活用したRecon Agentの開発過程を公開しました。AIがすべての判断を下したり、サイトを直接削除したりするわけではありません。顧客企業が保護するブランドやアカウント、判断基準を定め、難しい事例はセキュリティや法務の担当者が確認できます。削除申請後に実際にサイトやアカウントを削除するかは、各プラットフォームが決めます。

アウトテイクはAIエージェント自体をだます攻撃も調査しています。エージェントがウェブを読み、情報収集や取引を行う際、外部投稿の指示を業務命令と誤認する懸念があるためです。オ氏は今年2月、AIエージェント向けソーシャルネットワークのMoltbookを調査しました。セキュリティエージェントのOuttakeSheriffが投稿106,097件を分析して疑わしい134件を選び、別の検証エージェントがそのうち約20件を実際の脅威と判定しました。最初のエージェントが疑わしい事例を幅広く探し、2つ目が内容と文脈を再確認することで、セキュリティに関する議論を攻撃と誤認するのを抑える構成です。

調査では、人には見えないウェブページのHTMLコメントにアカウントをフォローする指示を隠した事例が確認され、トークンの送信やメール送信を促す投稿も見つかりました。外部コンテンツに悪意ある命令を隠し、AIの行動を変えようとする手法をプロンプトインジェクションと呼びます。情報や金銭が実際に盗まれた事例は確認されていませんが、エージェントがインターネット上のコンテンツを正当な指示と誤認する危険が明らかになりました。オ氏は、モデル性能の向上だけでリスクをなくすのは難しいと指摘し、外部ウェブページの疑わしい内容を除いて必要な情報だけを渡し、エージェントの権限を制限する必要があると説明しました。同社は、外部サイトを調査するエージェントが社内の機密システムにアクセスできないよう、実行環境を分離する方法も開発しています。

オ氏は、AIエージェントがインターネット上で作業する機会が増えれば、本物と偽物のサービスを見分けることが重要になると述べました。韓国のセキュリティ市場の成長可能性を前向きに評価し、AIによってソフトウェアの開発・利用コストが下がるほど、それを保護し真偽を判定するためのセキュリティ需要も高まるとの見方を示しました。また、攻撃の規模と速度はすでに変化しているとして、セキュリティ業界はAIを使った攻撃に対処し、防御側の企業もAIの活用法を学ぶ必要があると強調しました。