OpenAI、GPT-Rosalind-6の安全策を説明

OpenAIは、生物学、創薬、トランスレーショナル医療向けの推論モデルGPT-Rosalind-6を、審査を通過した研究者や組織に限り、信頼できるアクセスを通じて提供しています。アクセスを認める前に、申請者の利用目的、セキュリティ管理、ガバナンスを審査します。同社によると、モデルは二重用途の生物学的な質問への拒否を減らしつつ、生物兵器化の依頼やその他の安全上の問題には引き続き応じません。

GPT-Rosalind-6は、OpenAIの主力推論モデルGPT-6 Astraと同じ重みを使っています。今回の提供にあたり、学習データの追加や追加の事後学習は行っていないと同社は説明しています。OpenAIは生物・化学分野での能力をHighに分類し、Criticalの基準には達していないと評価しました。一方、サイバーセキュリティ分野ではCritical、AIの自己改善分野ではHigh未満としています。

最高の推論予算で評価したMedChemBench v7では、同じ99問に対してGPT-Rosalind-6が49.6%、GPT-Rosalind-5.5が28.9%でした。GeneBench Pro v13では、129問での1回の試行による成功率がそれぞれ37.7%と16.7%でした。この試験では、本番環境とは異なるベンチマーク専用の設定を使っています。LifeSciBench Goldでは、6問を除外した後の同じ94問で比較し、Rosalind-6の平均は61.3%、Rosalind-5.5は44.0%でした。

OpenAIはHigh能力レベルの評価を4項目、Criticalレベルの評価を4項目実施しました。High評価のスコアを拒否応答について調整したところ、Rosalind-6は4項目中3項目で目安となる基準を超えました。観測スコアは3項目でRosalind-5.5を上回り、生物リスクの知識では下回りました。評価が測定するのは個別の能力であり、生物学的危害を引き起こすモデルの能力全体ではありません。Criticalの基準は暫定的だとOpenAIは説明しています。

Critical評価4項目はいずれも目安となる基準に届きませんでした。AAVカプシドのパッケージング予測では0.529で、基準の0.600を下回りました。SHP2タンパク質の機能予測では平均R²が0.38で、基準の0.60に届かず、コロナウイルスのACE2細胞侵入スクリーニングでは0.42で、基準の0.75を下回りました。ファージとプラスミドの共進化については、負の対数尤度が13.41となり、基準の9.40以下を超えました。OpenAIは、GPT-6 Astraの有用性のみを評価する試験や、外部機関による生物学的能力評価も判断材料にしています。

承認を得る顧客には、公共の利益につながる正当な科学研究、ガバナンスと安全監督、企業水準のアクセス管理が求められます。OpenAIが挙げる安全策は、信頼できるアクセス管理、有害な生物・サイバー支援に対するモデル側の制限、悪用を検知する監視と執行、追加の契約上のセキュリティ要件の4つです。Rosalind-6は、リアルタイムのブロック機能を含むGPT-6 Astraの標準的なサイバー安全策も引き継いでいます。今回の提供で、Rosalind Academic Planを含む以前の発表を超えて対象者を広げることはないとOpenAIは述べています。

OpenAIは、生物学、創薬、トランスレーショナル医療向けの推論モデルGPT-Rosalind-6を、審査を通過した研究者や組織に限り、信頼できるアクセスを通じて提供しています。アクセスを認める前に、申請者の利用目的、セキュリティ管理、ガバナンスを審査します。同社によると、モデルは二重用途の生物学的な質問への拒否を減らしつつ、生物兵器化の依頼やその他の安全上の問題には引き続き応じません。

GPT-Rosalind-6は、OpenAIの主力推論モデルGPT-6 Astraと同じ重みを使っています。今回の提供にあたり、学習データの追加や追加の事後学習は行っていないと同社は説明しています。OpenAIは生物・化学分野での能力をHighに分類し、Criticalの基準には達していないと評価しました。一方、サイバーセキュリティ分野ではCritical、AIの自己改善分野ではHigh未満としています。

最高の推論予算で評価したMedChemBench v7では、同じ99問に対してGPT-Rosalind-6が49.6%、GPT-Rosalind-5.5が28.9%でした。GeneBench Pro v13では、129問での1回の試行による成功率がそれぞれ37.7%と16.7%でした。この試験では、本番環境とは異なるベンチマーク専用の設定を使っています。LifeSciBench Goldでは、6問を除外した後の同じ94問で比較し、Rosalind-6の平均は61.3%、Rosalind-5.5は44.0%でした。

OpenAIはHigh能力レベルの評価を4項目、Criticalレベルの評価を4項目実施しました。High評価のスコアを拒否応答について調整したところ、Rosalind-6は4項目中3項目で目安となる基準を超えました。観測スコアは3項目でRosalind-5.5を上回り、生物リスクの知識では下回りました。評価が測定するのは個別の能力であり、生物学的危害を引き起こすモデルの能力全体ではありません。Criticalの基準は暫定的だとOpenAIは説明しています。

Critical評価4項目はいずれも目安となる基準に届きませんでした。AAVカプシドのパッケージング予測では0.529で、基準の0.600を下回りました。SHP2タンパク質の機能予測では平均R²が0.38で、基準の0.60に届かず、コロナウイルスのACE2細胞侵入スクリーニングでは0.42で、基準の0.75を下回りました。ファージとプラスミドの共進化については、負の対数尤度が13.41となり、基準の9.40以下を超えました。OpenAIは、GPT-6 Astraの有用性のみを評価する試験や、外部機関による生物学的能力評価も判断材料にしています。

承認を得る顧客には、公共の利益につながる正当な科学研究、ガバナンスと安全監督、企業水準のアクセス管理が求められます。OpenAIが挙げる安全策は、信頼できるアクセス管理、有害な生物・サイバー支援に対するモデル側の制限、悪用を検知する監視と執行、追加の契約上のセキュリティ要件の4つです。Rosalind-6は、リアルタイムのブロック機能を含むGPT-6 Astraの標準的なサイバー安全策も引き継いでいます。今回の提供で、Rosalind Academic Planを含む以前の発表を超えて対象者を広げることはないとOpenAIは述べています。