마이크로소프트 연구진이 슬라이드, 포스터, 대시보드처럼 정보가 풍부한 시각물을 편집·검증 가능한 코드로 생성하는 방법인 AesCode를 공개했습니다. 논문은 10월 13일 발표됐고 10월 14일 아카이브에 제출됐습니다. 코드 모델은 캔버스에서 배치와 색상 선택이 어떻게 어우러지는지 직접 볼 수 없어 공간 계획과 시각 품질이 떨어질 수 있습니다. 이미지 생성기는 더 나은 시각 디자인을 만들 수 있지만 요청한 내용이 잘못 그려질 수 있어 결과물을 곧바로 제작에 쓰기 어렵습니다.

AesCode는 같은 프롬프트로 생성한 이미지를 미적 참고 자료로 사용하면서, 코드가 프롬프트의 내용에 맞도록 합니다. 목표 시각물은 전체 캔버스를 설명하고 각 요소에 속성을 연결할 수 있는 디자인 그래프로 표현합니다. 코드와 렌더링에서 읽어낼 수 있는 속성은 결정론적 검증기가 점수를 매기며, 읽어낼 수 없는 속성은 이미지와 텍스트를 함께 해석하는 시각언어 모델이 그래프 요소와 관계에 연결된 표본별 시각 그래프 평가 기준으로 평가합니다.

연구진은 강화학습과 채널별 정규화로 이 두 종류의 보상을 따로 최적화해 공간 계획, 미적 완성도, 검증 가능한 정확성을 높였습니다. 정확성과 시각 품질을 별도로 평가하는 벤치마크도 만들었으며, 시각 점수가 사람의 판단과 밀접하게 일치한다고 보고했습니다. 실험에서는 참조 이미지가 기존 모델의 코드 생성 시각 품질을 크게 높였고, 세부 요인 분석에서는 참조 이미지를 모델 입력과 시각 보상 자료로 모두 활용할 때 AesCode의 성능이 개선됐습니다. 같은 참조 이미지를 사용했을 때 AesCode-8B와 AesCode-32B는 같은 규모의 Qwen3-VL 기준선보다 시각 품질이 각각 31.1퍼센트포인트와 22.4퍼센트포인트 향상됐으며, GPT-5.5와 Claude Opus 4.8에 견줄 만한 점수를 기록했습니다.

마이크로소프트 연구진이 슬라이드, 포스터, 대시보드처럼 정보가 풍부한 시각물을 편집·검증 가능한 코드로 생성하는 방법인 AesCode를 공개했습니다. 논문은 10월 13일 발표됐고 10월 14일 아카이브에 제출됐습니다. 코드 모델은 캔버스에서 배치와 색상 선택이 어떻게 어우러지는지 직접 볼 수 없어 공간 계획과 시각 품질이 떨어질 수 있습니다. 이미지 생성기는 더 나은 시각 디자인을 만들 수 있지만 요청한 내용이 잘못 그려질 수 있어 결과물을 곧바로 제작에 쓰기 어렵습니다.

AesCode는 같은 프롬프트로 생성한 이미지를 미적 참고 자료로 사용하면서, 코드가 프롬프트의 내용에 맞도록 합니다. 목표 시각물은 전체 캔버스를 설명하고 각 요소에 속성을 연결할 수 있는 디자인 그래프로 표현합니다. 코드와 렌더링에서 읽어낼 수 있는 속성은 결정론적 검증기가 점수를 매기며, 읽어낼 수 없는 속성은 이미지와 텍스트를 함께 해석하는 시각언어 모델이 그래프 요소와 관계에 연결된 표본별 시각 그래프 평가 기준으로 평가합니다.

연구진은 강화학습과 채널별 정규화로 이 두 종류의 보상을 따로 최적화해 공간 계획, 미적 완성도, 검증 가능한 정확성을 높였습니다. 정확성과 시각 품질을 별도로 평가하는 벤치마크도 만들었으며, 시각 점수가 사람의 판단과 밀접하게 일치한다고 보고했습니다. 실험에서는 참조 이미지가 기존 모델의 코드 생성 시각 품질을 크게 높였고, 세부 요인 분석에서는 참조 이미지를 모델 입력과 시각 보상 자료로 모두 활용할 때 AesCode의 성능이 개선됐습니다. 같은 참조 이미지를 사용했을 때 AesCode-8B와 AesCode-32B는 같은 규모의 Qwen3-VL 기준선보다 시각 품질이 각각 31.1퍼센트포인트와 22.4퍼센트포인트 향상됐으며, GPT-5.5와 Claude Opus 4.8에 견줄 만한 점수를 기록했습니다.