Optuna v5とRustuna、PED-ANOVAを標準採用

Preferred Networks2026年10月14日 (水)
  • •Optuna v5とRustuna、重要度推定の標準手法をPED-ANOVAに変更
  • •YAHPO GymでSVMとXGBoost関連の設定値が比較的高い重要度
  • •Optuna版はf-ANOVA比約180~1,600倍、Rustuna版はOptuna比約2~4倍高速

Preferred Networksは、Optuna v5とRustunaでハイパーパラメータ重要度(最適化結果への各設定値の影響度)を推定する標準手法を、従来のf-ANOVAからPED-ANOVAに変更しました。PED-ANOVAはf-ANOVAより高速で、追加の依存関係なしに利用でき、条件付き探索空間と多目的最適化にも対応します。条件付き探索空間への対応手法は同社が開発し、KDD 2026に採択された論文で発表しました。

Optunaでは「optuna>=5.0.0」、Rustunaでは「rustuna>=0.1.0」をインストールし、完了済み試行を含むstudyを「optuna.importance.get_param_importances」に渡すと重要度を算出できます。Optunaでは重要度をグラフ表示できますが、その可視化にはPlotlyまたはMatplotlibの別途インストールが必要です。推定器の「target_quantile」と「region_quantile」は、観測性能の上位領域のうち、より上位の性能を達成するために各設定値がどれだけ重要かを指定します。

性能評価では、YAHPO Gymのrbv2_superシナリオ、インスタンス1053を使いました。近似k-NN、正則化線形モデル、ランダムフォレスト、決定木、サポートベクターマシン、XGBoostの6アルゴリズムから選ぶ課題で、カテゴリ設定「learner_id」によって選択アルゴリズムに応じた設定値だけが有効になる条件付き探索空間です。サンプル数はN=1000、目的は正解率の最大化で、PED-ANOVAの設定はtarget_quantile=0.1、region_quantile=1.0でした。実行環境はPython 3.13.11とOptuna v5.0.0です。

異なる乱数シードによる10回の実行では、trainsize、learner_id、SVMとXGBoostに関する一部の設定値が比較的高い重要度を示しました。実際の目的関数値でもSVMとXGBoostは他のアルゴリズムを上回り、PED-ANOVAはアルゴリズム選択の重要度を捉えたと記事は説明しています。各アルゴリズムの最高目的関数値と推定重要度の相関は、条件付き探索空間向けに既存手法を単純拡張したベースラインより高く、ベースラインで見られた負の相関のような不安定な挙動もありませんでした。

実行時間の比較では、Optuna v5のPED-ANOVAは従来のf-ANOVAより、試行数の実験範囲で約180~1,600倍高速でした。RustunaのPED-ANOVAはOptunaの実装より約2~4倍高速でした。実行時間の比較は異なる乱数シードによる5回の実行に基づきます。記事は、PED-ANOVAが条件付き探索空間と多目的最適化に対応しながら高速に重要度を評価するとまとめています。また、Optunaのミートアップを10月16日に都内で開き、Optuna 5.0の機能、Rustuna、作者の秋葉拓哉氏の講演を予定していると告知しました。本文は曜日を金曜日と記しています。[注:告知イベントの日付は記事記載のままです。]。/

μ影響度を捉える手法として、Preferred NetworksはOptuna v5およびRustunaのデフォルトをf-ANOVAからPED-ANOVAに変更したと発表しました。