ByteDanceのAI研究部門Seedは、アライメントと安全対策を担うチームを設立し、研究者10人の世界規模での採用を始めました。同社は、能力が高まるモデルの安全性に長期投資するとしています。勤務地は北京、上海、カリフォルニア州サンノゼです。Seedによると、チームには最先端モデルの開発チームに匹敵する計算能力と研究資源が与えられます。

採用は、中国と米国でAIエージェントの安全性への懸念が高まる中で行われます。特に開発者がエージェントにインターネットへのアクセス権を与える動きが注目されています。国営系紙の澎湃新聞は火曜日、Seedを独立した安全性・アライメント部門を設けた中国初の最先端AI研究所と報じました。ロイター通信は、ByteDanceの発表を、中国の大手AI開発企業が最先端モデルの安全対策専門組織を公表する珍しい例と伝えました。

Seedの研究計画には、モデル開発の各段階での安全性訓練、自動脆弱性検査、モデルの挙動を監視・説明するツール、AIエージェントの試験環境、新たなリスクへの備えが含まれます。チームは独立した検査も求め、大学や研究機関と連携します。安全性研究はモデルの訓練、評価、展開に適用する方針です。Seedは水曜日、公式WeChatアカウントの採用投稿で、安全性とアライメントはモデルを大規模に展開するための中核的な能力になりつつあると述べました。

チームの設立は、先端AIの主導権を競う米中両国が、AIの安全策やリスク、大規模なAI関連事故について連絡する経路をめぐって協議する中で行われました。Seedはアライメントを、複雑で複数段階の作業を行う際に、先端AIシステムの行動を人間の目標と安全要件に沿わせる取り組みと説明しています。

ByteDanceのAI研究部門Seedは、アライメントと安全対策を担うチームを設立し、研究者10人の世界規模での採用を始めました。同社は、能力が高まるモデルの安全性に長期投資するとしています。勤務地は北京、上海、カリフォルニア州サンノゼです。Seedによると、チームには最先端モデルの開発チームに匹敵する計算能力と研究資源が与えられます。

採用は、中国と米国でAIエージェントの安全性への懸念が高まる中で行われます。特に開発者がエージェントにインターネットへのアクセス権を与える動きが注目されています。国営系紙の澎湃新聞は火曜日、Seedを独立した安全性・アライメント部門を設けた中国初の最先端AI研究所と報じました。ロイター通信は、ByteDanceの発表を、中国の大手AI開発企業が最先端モデルの安全対策専門組織を公表する珍しい例と伝えました。

Seedの研究計画には、モデル開発の各段階での安全性訓練、自動脆弱性検査、モデルの挙動を監視・説明するツール、AIエージェントの試験環境、新たなリスクへの備えが含まれます。チームは独立した検査も求め、大学や研究機関と連携します。安全性研究はモデルの訓練、評価、展開に適用する方針です。Seedは水曜日、公式WeChatアカウントの採用投稿で、安全性とアライメントはモデルを大規模に展開するための中核的な能力になりつつあると述べました。

チームの設立は、先端AIの主導権を競う米中両国が、AIの安全策やリスク、大規模なAI関連事故について連絡する経路をめぐって協議する中で行われました。Seedはアライメントを、複雑で複数段階の作業を行う際に、先端AIシステムの行動を人間の目標と安全要件に沿わせる取り組みと説明しています。