키아라시 레자에이(Kiarash Rezaei) 연구팀은 광 네트워크 자동화에 사용되는 거대언어모델(LLM)을 평가하기 위한 새로운 파이프라인인 HuGLEN을 도입했다. 이 시스템은 다른 모델의 결과물을 평가하는 AI 모델인 LLM-as-a-judge와 인간 전문가의 평가를 결합하여 확장 가능하고 재현 가능한 성능 순위를 생성한다. 연구진은 모델의 성능과 추론 비용의 균형을 맞추기 위해 품질 효율 점수(QES)를 사용하여 모델들을 측정했다.

광 네트워크의 QoT 추정 모델인 xAI를 대상으로 파이프라인을 테스트한 결과, 12B 파라미터의 중형 모델이 가장 우수한 것으로 나타났다. 해당 모델은 가장 높은 QES를 달성하며 출력 품질과 운영 효율성 사이의 최적의 균형을 보여주었다. 이 프레임워크는 네트워크 운영자의 수동 라벨링 작업 부담을 성공적으로 감소시킨다.

키아라시 레자에이(Kiarash Rezaei) 연구팀은 광 네트워크 자동화에 사용되는 거대언어모델(LLM)을 평가하기 위한 새로운 파이프라인인 HuGLEN을 도입했다. 이 시스템은 다른 모델의 결과물을 평가하는 AI 모델인 LLM-as-a-judge와 인간 전문가의 평가를 결합하여 확장 가능하고 재현 가능한 성능 순위를 생성한다. 연구진은 모델의 성능과 추론 비용의 균형을 맞추기 위해 품질 효율 점수(QES)를 사용하여 모델들을 측정했다.

광 네트워크의 QoT 추정 모델인 xAI를 대상으로 파이프라인을 테스트한 결과, 12B 파라미터의 중형 모델이 가장 우수한 것으로 나타났다. 해당 모델은 가장 높은 QES를 달성하며 출력 품질과 운영 효율성 사이의 최적의 균형을 보여주었다. 이 프레임워크는 네트워크 운영자의 수동 라벨링 작업 부담을 성공적으로 감소시킨다.