光学ネットワーク自動化向けLLM評価パイプライン「HuGLEN」開発
Semantic Scholar
2026年7月22日 (水)
- •研究チームは光学ネットワークの自動化タスクにおけるLLMの性能を評価するパイプライン「HuGLEN」を開発した。
- •実験の結果、12Bパラメータのモデルが説明生成における品質効率スコアで最も優れた結果を示した。
- •HuGLENは「LLM-as-a-judge」フレームワークを活用することで、人間によるラベル付け作業の負担を軽減する。
キアラーシュ・レザエイ(Kiarash Rezaei)率いる研究チームは、光学ネットワークの自動化に活用される大規模言語モデル(LLM)の評価パイプライン「HuGLEN」を発表した。このシステムは、別のモデルの出力をAIが評価する「LLM-as-a-judge」という手法と、人間の専門家による評価を組み合わせることで、スケーラブルかつ再現性の高い性能ランキングを作成する。研究者らは、推論コストと性能のバランスを測定するために「品質効率スコア(QES)」を用いてモデルを評価した。
光学ネットワークにおける伝送品質(QoT)推定に向けた説明可能なAI(xAI)モデルを用いて検証した結果、12Bパラメータを持つ中規模モデルが最高性能を記録した。このモデルは出力品質と運用効率の最適なバランスを実証している。このフレームワークにより、ネットワーク運用担当者の手動によるラベル付け作業を大幅に削減できる。