PFN, Optuna 활용한 프롬프트 자동 최적화 기능 공개
- •정성적 피드백을 통한 프롬프트 자동 최적화 기능을 Work Suite에 탑재
- •Optuna와 '텍스트 그래디언트' 기법으로 다중 LLM 블록 동시 최적화 구현
- •시도 이력 관리 및 식별자 제어로 의도치 않은 성능 저하 방지
Preferred Networks(PFN)는 자사의 생성형 AI 플랫폼인 'PreferredAI Work Suite'에서 사용자의 정성적인 피드백을 바탕으로 프롬프트를 자동 최적화하는 혁신적인 신기능을 발표했다. 기존 워크플로우 구축 단계에서는 여러 LLM 블록이 연동되는 복잡한 작업 시, 원하는 출력을 얻기 위해 사람이 직접 프롬프트를 미세하게 조정하는 수작업이 반복되어야 했다. 새로 공개된 기능은 이러한 '프롬프트 엔지니어링'의 부담을 획기적으로 낮추는 데 초점을 맞춘다.
기술적 핵심은 PFN이 개발한 하이퍼파라미터 최적화 도구인 'Optuna'를 기반으로 구축한 자체 프레임워크다. 이 시스템은 사용자로부터 "키워드 위주로 요약해달라"와 같은 모호한 피드백을 받으면, '텍스트 그래디언트'라 불리는 기법을 활용해 프롬프트를 자동으로 갱신한다. 특히 여러 LLM 블록이 얽혀 있는 환경에서도 개별 프롬프트에 내부 식별자를 부여해 업데이트가 필요한 부분만 정교하게 제어하는 기술을 도입했다.
이에 따라 특정 블록의 성능을 개선하면서도 이미 정상적으로 작동하는 다른 블록의 기능을 해치지 않는 '파괴적 변경 억제'가 가능해졌다. 또한 전체 최적화 과정은 트리 구조로 시각화되어 사용자는 제안된 결과물을 직관적으로 확인하고 채택 여부를 결정할 수 있다. 실제로 Optuna의 이력 관리 기능을 통해 과거의 실패 데이터를 학습 재료로 삼아 최적의 결과에 도달하는 효율적인 구조를 갖췄다. 이러한 접근은 PFN이 축적해온 AutoML 역량을 생성형 AI 분야에 성공적으로 이식한 사례로 평가받는다.