中国のAIソーシャルプラットフォームであるSoul Appは、偽の身元や不正行為を検知するため、高度なガバナンスツールを導入した。AIツールの普及は自己表現の障壁を下げた一方、巧妙で誤解を招く身元の作成を可能にしている。これらの悪質なアカウントは、洗練された画像やライフスタイルのコンテンツを用いて信頼を築き、投資詐欺を試みたり、外部プラットフォームへ誘導したりする。これに対抗するため、Soul AppはマルチモーダルAIを導入し、画像、テキスト、動画を個別に評価するのではなく、統合的に分析している。

同プラットフォームの安全システムは、会話の文脈、リズム、展開を精査し、人為的な身元や詐欺の兆候を特定する。視覚コンテンツにおいては、AI生成画像や画像の盗用、再利用された素材を検知する。アカウントの行動と対話パターンを関連付けることで、従来の事後対応型モデレーションから、継続的で先制的なリスク検知戦略へと転換を図った。この技術は、同様のリスク素材が再出現した際にそれを特定し、関連アカウントの自動レビューと遮断を迅速に行う。

定量的な成果として、同プラットフォームは現在95%の識別精度を維持している。さらに、システムは1日あたり10万件以上の異常な活動や不正関連の行為を遮断しており、高リスクな詐欺への曝露率は37.37%低下した。現在、高リスクアカウントの66%以上がユーザーとの接触前に阻止されている。Soul Appはこの技術基盤に加え、ユーザー報告やコミュニティからのフィードバックを共有ガバナンスとして取り込み、新たなリスク戦術の特定と安全戦略の改善に努めている。

中国のAIソーシャルプラットフォームであるSoul Appは、偽の身元や不正行為を検知するため、高度なガバナンスツールを導入した。AIツールの普及は自己表現の障壁を下げた一方、巧妙で誤解を招く身元の作成を可能にしている。これらの悪質なアカウントは、洗練された画像やライフスタイルのコンテンツを用いて信頼を築き、投資詐欺を試みたり、外部プラットフォームへ誘導したりする。これに対抗するため、Soul AppはマルチモーダルAIを導入し、画像、テキスト、動画を個別に評価するのではなく、統合的に分析している。

同プラットフォームの安全システムは、会話の文脈、リズム、展開を精査し、人為的な身元や詐欺の兆候を特定する。視覚コンテンツにおいては、AI生成画像や画像の盗用、再利用された素材を検知する。アカウントの行動と対話パターンを関連付けることで、従来の事後対応型モデレーションから、継続的で先制的なリスク検知戦略へと転換を図った。この技術は、同様のリスク素材が再出現した際にそれを特定し、関連アカウントの自動レビューと遮断を迅速に行う。

定量的な成果として、同プラットフォームは現在95%の識別精度を維持している。さらに、システムは1日あたり10万件以上の異常な活動や不正関連の行為を遮断しており、高リスクな詐欺への曝露率は37.37%低下した。現在、高リスクアカウントの66%以上がユーザーとの接触前に阻止されている。Soul Appはこの技術基盤に加え、ユーザー報告やコミュニティからのフィードバックを共有ガバナンスとして取り込み、新たなリスク戦術の特定と安全戦略の改善に努めている。