KombaiのDesign Creativity Benchは、AIモデルがどれほど創造的にユーザーインターフェースを設計できるかを評価し、最高得点のモデルも人間の参照スコアを下回りました。ベンチマークのページでは別の例として、ペリカンが自転車に乗るSVG画像を作るよう指示した際、言語モデルが似た画像を出力したと説明しています。同ページはこの傾向を「多様性の崩壊」と呼び、Simon Willisonが最も高い推論設定で実行し、SVGを生成した例を挙げています。

研究者は最先端モデル16種類を、自由形式のUI課題80件で評価しました。各課題は2つの製品分野に合わせて調整し、人間のデザイナーによる参照例と比較しました。評価したのは、同じ依頼に対する他モデルの出力とどれだけ異なるかを示す独創性、製品分野ごとにデザインの選択がどれだけ変わるかを示す創造的な幅、そして生成した画面が依頼の機能要件をどれだけ満たすかを示す適切性の3点です。

一覧中ではGPT-6 Astraが創造性スコア65.5で首位でしたが、人間の参照スコアは92.3でした。GPT-6.1 Solは63.7、Grok 4.7は62.2、Gemini 3.8 Flashは60.6でした。研究者は、最先端モデルの能力としてデザインの創造性を測定できるよう、完全な順位表、手法、再現可能な評価枠組みを公開すると述べています。論文、順位表、データセット、コードはベンチマークのページから参照できます。

KombaiのDesign Creativity Benchは、AIモデルがどれほど創造的にユーザーインターフェースを設計できるかを評価し、最高得点のモデルも人間の参照スコアを下回りました。ベンチマークのページでは別の例として、ペリカンが自転車に乗るSVG画像を作るよう指示した際、言語モデルが似た画像を出力したと説明しています。同ページはこの傾向を「多様性の崩壊」と呼び、Simon Willisonが最も高い推論設定で実行し、SVGを生成した例を挙げています。

研究者は最先端モデル16種類を、自由形式のUI課題80件で評価しました。各課題は2つの製品分野に合わせて調整し、人間のデザイナーによる参照例と比較しました。評価したのは、同じ依頼に対する他モデルの出力とどれだけ異なるかを示す独創性、製品分野ごとにデザインの選択がどれだけ変わるかを示す創造的な幅、そして生成した画面が依頼の機能要件をどれだけ満たすかを示す適切性の3点です。

一覧中ではGPT-6 Astraが創造性スコア65.5で首位でしたが、人間の参照スコアは92.3でした。GPT-6.1 Solは63.7、Grok 4.7は62.2、Gemini 3.8 Flashは60.6でした。研究者は、最先端モデルの能力としてデザインの創造性を測定できるよう、完全な順位表、手法、再現可能な評価枠組みを公開すると述べています。論文、順位表、データセット、コードはベンチマークのページから参照できます。