Calpha、LLM内でタンパク質折りたたみを実現へ
- •上海交通大学の研究者が、汎用言語モデル内でタンパク質構造を予測する初期段階のCalphaを報告
- •Qwen3.5-9BはFoldBench-334で0.808、CASP16ドメインで0.635、CAMEO形式のデータセットで0.900を記録
- •タンパク質学習後、MMLU-Proの350問の一部で正答率が77.4%から70.3%に低下し、複合体予測は今後の課題
上海交通大学の研究者は、汎用言語モデルにタンパク質構造予測を組み込む初期の取り組みとして、Calphaを報告しました。説明された第1段階では、Qwen3.5-9BがESM2の残基特徴量を加えたタンパク質配列を処理し、事前学習済みSimpleFold構造予測ヘッドにトークンを送ります。このヘッドはQwenの残基状態を通じてタンパク質情報を受け取り、単一鎖の構造を出力します。研究者によると、これにより言語モデルは外部の折りたたみツールに頼らず、内部状態から構造を生成できます。
折りたたみを指示する固定リクエストを使った評価で、システムの平均TMスコアはFoldBench-334の開発用データで0.808、CASP16のドメインで0.635、CAMEO形式のPDBデータセットで0.900でした。比較対象のシステムは、配列の符号化にESM2-3Bを使い、座標予測には微調整済みのSimpleFold-3Bヘッドを使いました。両システムでは、学習可能な重み、学習時間、切り出す配列の長さも異なっていました。残基長100~299のタンパク質では、3つの比較すべてで対応する信頼区間にゼロが含まれました。300~600残基の鎖では、平均スコア差が-0.044、-0.160、-0.025でした。
別の評価では、英語の依頼文4種類が、評価した全例で折りたたみ処理を起動しました。タンパク質の学習後、MMLU-Proの350問の一部で正答率は77.4%から70.3%に下がりました。報告書によると、現在の比較では長い鎖ほどスコアが低く、評価対象となった問題群で正答率も下がっています。タンパク質複合体の予測、構造の理解、言語推論が予測座標に及ぼす影響の検証は、今後の課題です。著者らは、システムが現在も事前学習済みのESM2とSimpleFoldの構成要素に依存しているとも述べました。
最も速く正確なAIニュースをメールでいかがですか?