콤바이의 디자인 창의성 벤치마크는 AI 모델의 사용자 인터페이스 설계 창의성을 평가했으며, 가장 높은 점수를 받은 모델도 인간 기준 점수에 미치지 못했습니다. 벤치마크 페이지는 자전거를 타는 펠리컨의 SVG를 만들라는 별도 예시도 제시합니다. 언어 모델들이 서로 비슷한 이미지를 생성했고, 페이지는 이런 현상을 다양성 붕괴 문제라고 부릅니다. 페이지에는 사이먼 윌리슨이 가장 높은 추론 설정으로 SVG를 생성한 실행 사례도 연결돼 있습니다.

연구진은 개방형 UI 과제 80개를 대상으로 최첨단 모델 16개를 평가했습니다. 각 과제는 두 제품 분야에 맞게 조정됐으며, 인간 디자이너의 결과물과 비교했습니다. 평가는 독창성, 창의적 범위, 적합성의 세 측면을 측정합니다. 독창성은 같은 요청에 대해 다른 모델의 결과물과 얼마나 차별화되는지를, 창의적 범위는 제품 분야가 바뀔 때 디자인 선택이 어떻게 달라지는지를 뜻합니다. 적합성은 생성된 인터페이스가 요청의 기능 요건을 얼마나 충족하는지를 평가합니다.

공개된 모델 가운데 GPT-6 Astra가 창의성 점수 65.5로 1위를 기록했고, 인간 기준 점수는 92.3이었습니다. GPT-6.1 Sol은 63.7점, Grok 4.7은 62.2점, Gemini 3.8 Flash는 60.6점이었습니다. 연구진은 디자인 창의성을 최첨단 모델 역량으로 측정할 수 있도록 전체 순위표와 방법론, 재현 가능한 평가 체계를 공개한다고 밝혔습니다. 논문과 순위표, 데이터셋, 코드도 벤치마크 페이지에서 확인할 수 있습니다.

콤바이의 디자인 창의성 벤치마크는 AI 모델의 사용자 인터페이스 설계 창의성을 평가했으며, 가장 높은 점수를 받은 모델도 인간 기준 점수에 미치지 못했습니다. 벤치마크 페이지는 자전거를 타는 펠리컨의 SVG를 만들라는 별도 예시도 제시합니다. 언어 모델들이 서로 비슷한 이미지를 생성했고, 페이지는 이런 현상을 다양성 붕괴 문제라고 부릅니다. 페이지에는 사이먼 윌리슨이 가장 높은 추론 설정으로 SVG를 생성한 실행 사례도 연결돼 있습니다.

연구진은 개방형 UI 과제 80개를 대상으로 최첨단 모델 16개를 평가했습니다. 각 과제는 두 제품 분야에 맞게 조정됐으며, 인간 디자이너의 결과물과 비교했습니다. 평가는 독창성, 창의적 범위, 적합성의 세 측면을 측정합니다. 독창성은 같은 요청에 대해 다른 모델의 결과물과 얼마나 차별화되는지를, 창의적 범위는 제품 분야가 바뀔 때 디자인 선택이 어떻게 달라지는지를 뜻합니다. 적합성은 생성된 인터페이스가 요청의 기능 요건을 얼마나 충족하는지를 평가합니다.

공개된 모델 가운데 GPT-6 Astra가 창의성 점수 65.5로 1위를 기록했고, 인간 기준 점수는 92.3이었습니다. GPT-6.1 Sol은 63.7점, Grok 4.7은 62.2점, Gemini 3.8 Flash는 60.6점이었습니다. 연구진은 디자인 창의성을 최첨단 모델 역량으로 측정할 수 있도록 전체 순위표와 방법론, 재현 가능한 평가 체계를 공개한다고 밝혔습니다. 논문과 순위표, 데이터셋, 코드도 벤치마크 페이지에서 확인할 수 있습니다.