ClaudeがPCを直接操作、Anthropicが新機能を公開
- •Claudeが画面を認識しマウスやキーボードを自動操作する機能を公開
- •スマホからPCへ作業を指示できる「Dispatch」機能との連携を強化
- •プロンプトインジェクション対策など安全性を考慮した権限確認を導入
Anthropicは、AIが人間のようにコンピュータの画面を視認し、キーボードやマウスを操作する画期的な機能「computer use」を発表しました。この機能は、AIが単なる対話相手から、ユーザーに代わって複雑なタスクを実行する「エージェント」へと進化する重要な一歩を象徴しています。従来、AIによる自動化はAPI連携などのシステム的な繋ぎ込みが不可欠でしたが、本機能は「人間が見ている画面そのもの」を解釈して操作するため、汎用性が飛躍的に向上しています。
仕組みとしては、Claudeが画面のスクリーンショットを一定間隔で取得し、それを高精度な画像認識モデルで解析することで、「どのボタンをクリックすべきか」「入力欄はどこにあるか」を自律的に判断します。これにより、ブラウザでの情報収集から表計算ソフトへのデータ転記、さらには開発環境でのコマンド実行まで、人間が普段行っているデジタル作業のプロセスをAIがそのまま代替することが可能です。この「視覚に基づいた操作」は、専用の統合機能（コネクター）が用意されていないマイナーなアプリケーションであっても、AIが自ら使い方を学習して操作できる可能性を秘めています。
特に注目したいのは、スマートフォンとデスクトップ環境をシームレスに繋ぐ「Dispatch」機能との連携強化です。ユーザーは外出先からスマートフォンのClaudeアプリを通じて指示を送るだけで、自宅やオフィスで起動しているMac上のClaudeにタスクを「丸投げ」できます。自分が移動中であっても、オフィスにあるPCがバックグラウンドで複雑なレポート作成やコードのテストを実行し、戻った頃には成果物を確認できるという、SF映画のようなワークスタイルが現実のものとなりました。これは、AIが単一のデバイスに閉じこもるのではなく、複数のデバイスを跨いでユーザーをサポートする「パーソナル・アシスタント」としての真骨頂と言えるでしょう。
しかし、OSレベルでの操作権限をAIに与えることには、相応のセキュリティリスクも伴います。Anthropicはこの点に対し、悪意のあるプロンプトによってAIを不正操作する「プロンプトインジェクション」を検知する専用の監視モデルを導入し、堅牢な安全策を講じています。また、Claudeが新しいアプリにアクセスする際には必ずユーザーの明示的な許可を求める仕様となっており、透明性の高い運用を目指しています。現在はmacOS向けの「研究プレビュー」という位置付けですが、AIが「道具」の域を超え、自律的な「共働者」へとパラダイムシフトを果たす重要な転換点になることは間違いありません。