Preferred Networks는 Optuna v5와 Rustuna에서 하이퍼파라미터 중요도(최적화 결과에 각 설정값이 미치는 영향)를 추정하는 기본 방식을 기존 f-ANOVA에서 PED-ANOVA로 변경했다고 발표했습니다. PED-ANOVA는 f-ANOVA보다 빠르고 추가 의존성 없이 사용할 수 있으며, 조건부 탐색 공간과 다목적 최적화도 지원합니다. 조건부 탐색 공간을 지원하는 방법은 Preferred Networks가 개발했으며, 관련 논문은 KDD 2026에 채택됐습니다.

Optuna에서는 `optuna>=5.0.0`, Rustuna에서는 `rustuna>=0.1.0`을 설치한 뒤 완료된 시행이 포함된 study를 `optuna.importance.get_param_importances`에 전달하면 중요도를 계산할 수 있습니다. Optuna에서 그래프로 시각화하려면 Plotly 또는 Matplotlib을 별도로 설치해야 합니다. 추정기의 `target_quantile`과 `region_quantile`은 관측 성능이 높은 영역 가운데 더 높은 성능을 달성하는 데 각 설정값이 얼마나 중요한지를 지정합니다.

성능 평가는 YAHPO Gym의 rbv2_super 시나리오, 인스턴스 1053을 사용했습니다. 근사 k-NN, 정규화 선형 모델, 랜덤 포레스트, 결정 트리, 서포트 벡터 머신, XGBoost 등 6개 알고리즘 중 하나를 선택하는 과제였습니다. 범주형 설정값 `learner_id`에 따라 선택한 알고리즘에 해당하는 설정값만 유효한 조건부 탐색 공간을 사용했습니다. 표본 수는 N=1000, 목표는 정확도 최대화였고 PED-ANOVA 설정은 `target_quantile=0.1`, `region_quantile=1.0`이었습니다. 실행 환경은 Python 3.13.11과 Optuna v5.0.0이었습니다.

서로 다른 난수 시드로 10회 실행한 결과, 학습 데이터 크기인 `trainsize`, `learner_id`, SVM 및 XGBoost 관련 일부 설정값의 중요도가 비교적 높았습니다. 실제 목표 함수값에서도 SVM과 XGBoost가 다른 알고리즘보다 높았으며, Preferred Networks는 PED-ANOVA가 알고리즘 선택의 중요도를 포착했다고 설명했습니다. 각 알고리즘의 최고 목표 함수값과 추정 중요도 사이의 상관관계는 조건부 탐색 공간용으로 기존 방법을 단순 확장한 기준선보다 높았습니다. 기준선에서 나타난 음의 상관관계 같은 불안정한 동작도 관찰되지 않았습니다.

실행 시간 비교에서 Optuna v5의 PED-ANOVA는 실험한 시행 횟수 범위에서 기존 f-ANOVA보다 약 180~1,600배 빨랐습니다. Rustuna의 PED-ANOVA는 Optuna 구현보다 약 2~4배 빨랐습니다. 실행 시간 비교는 서로 다른 난수 시드로 5회 실행한 결과입니다. Preferred Networks는 PED-ANOVA가 조건부 탐색 공간과 다목적 최적화를 지원하면서 중요도를 빠르게 평가한다고 밝혔습니다. 회사는 10월 16일 도쿄에서 Optuna 밋업을 열고 Optuna 5.0 기능과 Rustuna를 소개하며, 개발자인 아키바 다쿠야의 강연도 진행할 예정이라고 알렸습니다. 본문은 행사일을 금요일이라고 표기했습니다.

Preferred Networks는 Optuna v5와 Rustuna에서 하이퍼파라미터 중요도(최적화 결과에 각 설정값이 미치는 영향)를 추정하는 기본 방식을 기존 f-ANOVA에서 PED-ANOVA로 변경했다고 발표했습니다. PED-ANOVA는 f-ANOVA보다 빠르고 추가 의존성 없이 사용할 수 있으며, 조건부 탐색 공간과 다목적 최적화도 지원합니다. 조건부 탐색 공간을 지원하는 방법은 Preferred Networks가 개발했으며, 관련 논문은 KDD 2026에 채택됐습니다.

Optuna에서는 `optuna>=5.0.0`, Rustuna에서는 `rustuna>=0.1.0`을 설치한 뒤 완료된 시행이 포함된 study를 `optuna.importance.get_param_importances`에 전달하면 중요도를 계산할 수 있습니다. Optuna에서 그래프로 시각화하려면 Plotly 또는 Matplotlib을 별도로 설치해야 합니다. 추정기의 `target_quantile`과 `region_quantile`은 관측 성능이 높은 영역 가운데 더 높은 성능을 달성하는 데 각 설정값이 얼마나 중요한지를 지정합니다.

성능 평가는 YAHPO Gym의 rbv2_super 시나리오, 인스턴스 1053을 사용했습니다. 근사 k-NN, 정규화 선형 모델, 랜덤 포레스트, 결정 트리, 서포트 벡터 머신, XGBoost 등 6개 알고리즘 중 하나를 선택하는 과제였습니다. 범주형 설정값 `learner_id`에 따라 선택한 알고리즘에 해당하는 설정값만 유효한 조건부 탐색 공간을 사용했습니다. 표본 수는 N=1000, 목표는 정확도 최대화였고 PED-ANOVA 설정은 `target_quantile=0.1`, `region_quantile=1.0`이었습니다. 실행 환경은 Python 3.13.11과 Optuna v5.0.0이었습니다.

서로 다른 난수 시드로 10회 실행한 결과, 학습 데이터 크기인 `trainsize`, `learner_id`, SVM 및 XGBoost 관련 일부 설정값의 중요도가 비교적 높았습니다. 실제 목표 함수값에서도 SVM과 XGBoost가 다른 알고리즘보다 높았으며, Preferred Networks는 PED-ANOVA가 알고리즘 선택의 중요도를 포착했다고 설명했습니다. 각 알고리즘의 최고 목표 함수값과 추정 중요도 사이의 상관관계는 조건부 탐색 공간용으로 기존 방법을 단순 확장한 기준선보다 높았습니다. 기준선에서 나타난 음의 상관관계 같은 불안정한 동작도 관찰되지 않았습니다.

실행 시간 비교에서 Optuna v5의 PED-ANOVA는 실험한 시행 횟수 범위에서 기존 f-ANOVA보다 약 180~1,600배 빨랐습니다. Rustuna의 PED-ANOVA는 Optuna 구현보다 약 2~4배 빨랐습니다. 실행 시간 비교는 서로 다른 난수 시드로 5회 실행한 결과입니다. Preferred Networks는 PED-ANOVA가 조건부 탐색 공간과 다목적 최적화를 지원하면서 중요도를 빠르게 평가한다고 밝혔습니다. 회사는 10월 16일 도쿄에서 Optuna 밋업을 열고 Optuna 5.0 기능과 Rustuna를 소개하며, 개발자인 아키바 다쿠야의 강연도 진행할 예정이라고 알렸습니다. 본문은 행사일을 금요일이라고 표기했습니다.