이 리포지토리는 멀티모달 시나리오에서의 코드 생성을 위한 방법론, 벤치마크 및 평가에 관한 논문들을 포함합니다:

• UI 코드 생성: 웹 프런트엔드 코드 생성, 모바일 앱 UI 코드 생성 등.

• 과학적 코드 생성: 플롯(plot), 차트(chart), 공식(formula) 등.

• 슬라이드 코드 생성.

• 시각적으로 풍부한 프로그래밍: 이미지 예시가 포함된 프로그래밍 문제.

• 로고: SVG 코드를 통한 이미지 생성.

• 상기 시나리오에서의 프로그램 복구(Program repair).

• UML 코드 생성.

• CAD 코드 생성.

• 포스터 코드 생성.

• 게임 코드 생성.

• 일반 벤치마크 및 Foundation MLLM 기반 코드 모델.

• Awesome-Multimodal-LLM-for-Code

• Content

• 📜 논문(Papers)

• 1. 웹/모바일 UI 코드 생성
• 2. 과학적 플롯 코드 생성
• 3. 시각적으로 풍부한 프로그래밍
• 4. SVG 코드 생성 및 이해
• 5. 슬라이드 코드 생성
• 6. 프로그램 복구
• 7. UML 코드 생성
• 8. CAD 코드 생성
• 9. 포스터 코드 생성
• 10. 멀티모달 문서 생성
• 11. 3D 코드 생성
• 12. 게임
• 13. MLLM의 이미지 이해를 위한 코드
• 14. 일반

• 🔥기여(Contributing)

• 🔥인용(Citation)

제목을 클릭하면 해당 PDF 링크 위치로 바로 이동할 수 있습니다.

**Design2Code: How Far Are We From Automating Front-End Engineering?.***Chenglei Si, Yanzhe Zhang, Zhengyuan Yang, Ruibo Liu, Diyi Yang .*NAACL 2025. -
**Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset.***Hugo Laurençon, Léo Tronchon, Victor Sanh .*Arxiv 2024. -
**VISION2UI: A Real-World Dataset with Layout for Code Generation from UI Designs.***Yi Gui, Zhen Li, Yao Wan, Yemin Shi, Hongyu Zhang, Yi Su, Shaoling Dong, Xing Zhou, Wenbin Jiang .Arxiv 2024. -
NLDesign: A UI Design Tool for Natural Language InterfacesTianhao Zhang, Fu Peiguo, Jie Liu, Yihe Zhang, Xingmei Chen .*ACM-TURC‘24 (2024.6.30) -
**Automatically Generating UI Code from Screenshot: A Divide-and-Conquer-Based Approach.***Yuxuan Wan, Chaozheng Wang, Yi Dong, Wenxuan Wang, Shuqing Li, Yintong Huo, Michael R. Lyu .*Arxiv 2024 (FSE 2025). -
**Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs.***Sukmin Yun, Haokun Lin, Rusiru Thushara, Mohammad Qazim Bhat, Yongxin Wang, Zutao Jiang, Mingkai Deng, Jinhong Wang, Tianhua Tao, Junbo Li, Haonan Li, Preslav Nakov, Timothy Baldwin, Zhengzhong Liu, Eric P. Xing, Xiaodan Liang, Zhiqiang Shen .NeurIPS 2024 Datasets and Benchmarks. -
Prototype2Code: End-to-end Front-end Code Generation from UI Design PrototypesShuhong Xiao, Yunnong Chen, Jiazhi Li, Liuqing Chen, Lingyun Sun, Tingting Zhou .Arxiv 2024. -
Bridging Design and Development with Automated Declarative UI Code GenerationTing Zhou, Yanjie Zhao, Xinyi Hou, Xiaoyu Sun, Kai Chen, Haoyu Wang.Arxiv 2024.(FSE 2025) -
Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design PrototypingRyan Li, Yanzhe Zhang, Diyi Yang .Arxiv 2024. -
IW-Bench:Evaluating Large Multimodal Models for Converting Image-to-WebHongcheng Guo, Wei Zhang, Junhao Chen, Yaonan Gu, Jian Yang, Junjia Du, Binyuan Hui, Tianyu Liu, Jianxin Ma, Chang Zhou, Zhoujun Li .*Arxiv 2024.9.14 (ACL 2025 Findings).

**Interaction2Code: 자동화된 대화형 웹페이지 생성을 향한 여정은 얼마나 남았는가? (How Far Are We From Automatic Interactive Webpage Generation?)***Jingyu Xiao, Yuxuan Wan, Yintong Huo, Zixin Wang, Xinyi Xu, Wenxuan Wang, Zhiyao Xu, Yuhang Wang, Michael R. Lyu .*Arxiv 2024 (ASE 2025). -
**UIClip: 사용자 인터페이스 디자인 평가를 위한 데이터 기반 모델 (A Data-driven Model for Assessing User Interface Design)***Jason Wu, Yi-Hao Peng, Xin Yue Li, Amanda Swearngin, Jeffrey P. Biham, Jeffrey Nichols .*UIST 2024. -
**WAFFLE: 자동화된 프론트엔드 개발을 위한 멀티모달 모델 (Multi-Modal Model for Automated Front-End Development)***Shanchao Liang, Nan Jiang, Shangshu Qian, Lin Tan .*Arxiv 2024 (ACL 2025 Main). -
**MRWeb: UI 디자인으로부터 다중 페이지 리소스 인식 웹 코드를 생성하는 탐구 (An Exploration of Generating Multi-Page Resource-Aware Web Code from UI Designs)Yuxuan Wan, Yi Dong, Jingyu Xiao, Yintong Huo, Wenxuan Wang, Michael R. Lyu .Arxiv 2024. -
UICopilot: 웹페이지 디자인으로부터의 계층적 코드 생성을 통한 UI 합성 자동화 (Automating UI Synthesis via Hierarchical Code Generation from Webpage Designs) Yi Gui, Yao Wan, Zhen Li, Zhongyi Zhang, Dongping Chen, Hongyu Zhang, Yi Su, Bohua Chen, Xing Zhou, Wenbin Jiang, Xiangliang Zhang. WWW 2025 (Oral). -
WebCode2M: 웹페이지 디자인으로부터의 코드 생성을 위한 실제 환경 데이터셋 (A Real-World Dataset for Code Generation from Webpage Designs) Yi Gui, Zhen Li, Yao Wan, Yemin Shi, Hongyu Zhang, Yi Su, Bohua Chen, Dongping Chen, Siyuan Wu, Xing Zhou, Wenbin Jiang, Hai Jin, Xiangliang Zhang. WWW 2025 (Oral). -
LLM 기반 그래픽 사용자 인터페이스 생성을 위한 제로샷 프롬프팅 접근법 (Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation) Kristian Kolthoff, Felix Kretzer, Lennart Fiebig, Christian Bartelt, Alexander Maedche, Simone Paolo Ponzetto.Arxiv 2024.12. -
**UI 디자인에서의 인간-AI 시너지 방향: 의도 명확화 및 정렬을 통한 멀티에이전트 기반 UI 생성 강화 (Towards Human-AI Synergy in UI Design: Enhancing Multi-Agent Based UI Generation with Intent Clarification and Alignment)***Mingyue Yuan, Jieshan Chen, Yongquan Hu, Sidong Feng, Mulong Xie, Gelareh Mohammadi, Zhenchang Xing, Aaron Quigley.Arxiv 2024.12.28 -
**Frontend Diffusion: 에이전트 워크플로우를 통한 주니어 연구원 및 디자이너의 자체 표현 역량 강화 (Empowering Self-Representation of Junior Researchers and Designers Through Agentic Workflows)***Zijian Ding, Qinshi Zhang, Mohan Chi, Ziyi Wang. Arxiv 2025.

UICrit: UICritique 데이터셋을 활용한 자동 디자인 평가 향상*Peitong Duan, Chin-yi Chen, Gang Li, Bjoern Hartmann, Yang Li.Arxiv 2024.7.11 (UIST 2024). -
데이터 합성(data synthesis)을 통한 프론트엔드 개발 분야의 비전-언어 모델 발전Tong Ge, Yashu Liu, Jieping Ye, Tianyi Li, Chao Wang .Arxiv 2025.3.3. -
시각적 스케치 기반 웹사이트 생성을 위한 멀티모달 그래프 표현 학습Tung D. Vu, Chung Hoang, Truong-Son Hy.Arxiv 2025.4.26. -
WebGen-Bench: 처음부터 상호작용적이고 기능적인 웹사이트를 생성하는 LLM 평가Zimu Lu, Yunqiao Yang, Houxing Ren, Haotian Hou, Han Xiao, Ke Wang, Weikang Shi, Aojun Zhou, Mingjie Zhan, Hongsheng Li.Arxiv 2025.5.6. -
Web-Bench: 웹 표준 및 프레임워크 기반의 LLM 코드 벤치마크Kai Xu, YiWei Mao, XinYi Guan, ZiLong Feng.Arxiv 2025.5.12. -
FullFront: 전체 프론트엔드 엔지니어링 워크플로우에 걸친 MLLM 벤치마킹Haoyu Sun, Huichen Will Wang, Jiawei Gu, Linjie Li, Yu Cheng.Arxiv 2025.5.23. -
DesignBench: MLLM 기반 프론트엔드 코드 생성을 위한 포괄적인 벤치마크Jingyu Xiao, Ming Wang, Man Ho Lam, Yuxuan Wan, Junliang Liu, Yintong Huo, Michael R. Lyu.Arxiv 2025.6.6. -
WebUIBench: 웹 UI-to-Code 분야에서 멀티모달 대규모 언어 모델(MLLM) 평가를 위한 포괄적인 벤치마크Zhiyu Lin, Zhengda Zhou, Zhiyuan Zhao, Tianrui Wan, Yilun Ma, Junyu Gao, Xuelong Li.Arxiv 2025.6.9. -
UI 레이아웃 정보를 활용한 MLLM 기반 UI2Code 자동화Fan Wu, Cuiyun Gao, Shuqing Li, Xin-Cheng Wen, Qing Liao.*Arxiv 2025.6.12.（ISSTA 2025） -
**Large Language Models을 사용한 계층 구조 인식 및 자체 수정 UI 코드 생성(DesignCoder)***Fan Wu, Cuiyun Gao, Shuqing Li, Xin-Cheng Wen, Qing Liao.Arxiv 2025.6.16. -
FrontendBench: 자동 평가를 통해 프론트엔드 개발 분야의 LLM을 평가하는 벤치마크Hongda Zhu, Yiwen Zhang, Bing Zhao, Jingzhe Ding, Siyao Liu, Tong Liu, Dandan Wang, Yanan Liu, Zhaojian Lio.*Arxiv 2025.6.16.

• ScreenCoder: 모듈형 멀티모달 에이전트를 활용한 프론트엔드 자동화를 위한 시각-코드 생성 발전 (Yilei Jiang, Yaozhi Zheng, Yuxuan Wan, Jiaming Han, Qunzhong Wang, Michael R. Lyu, Xiangyu Yue.*Arxiv 2025.7.31.) -
  언어 모델을 위한 생성형 인터페이스 (Jiaqi Chen, Yanzhe Zhang, Yutong Zhang, Yijia Shao, Diyi Yang.*Arxiv 2025.8.26.) -
  UI-Bench: AI 텍스트-투-앱 도구의 디자인 역량 평가를 위한 벤치마크 (Sam Jung, Agustin Garcinuno, Spencer Mateega.*Arxiv 2025.8.28.) -
  EfficientUICoder: 입력 및 출력 토큰 압축을 통한 효율적인 MLLM 기반 UI 코드 생성 (Jingyu Xiao, Zhongyi Zhang, Yuxuan Wan, Yintong Huo, Yang Liu, Michael R.Lyu.*Arxiv 2025.9.15 (FSE 2026).) -
  WebGen-Agent: 다단계 피드백 및 단계별 강화학습을 통한 인터랙티브 웹사이트 생성 향상 (Zimu Lu, Houxing Ren, Yunqiao Yang, Ke Wang, Zhuofan Zong, Junting Pan, Mingjie Zhan, Hongsheng Li.*Arxiv 2025.9.26.) -
  UI-UG: UI 이해 및 생성을 위한 통합 MLLM (Hao Yang, Weijie Qiu, Ru Zhang, Zhou Fang, Ruichao Mao, Xiaoyu Lin, Maji Huang, Zhaosong Huang, Teng Guo, Shuoyang Liu, Hai Rao.*Arxiv 2025.9.29.) -
  IWR-Bench: LVLM이 사용자 상호작용 비디오로부터 인터랙티브 웹페이지를 재구성할 수 있는가? (Yang Chen, Minghao Liu, Yufan Shen, Yunwen Li, Tianyuan Huang, Xinyu Fang, Tianyu Zheng, Wenxuan Huang, Cheng Yang, Daocheng Fu, Jianbiao Mei, Rong Wu, Licheng Wen, Xuemeng Yang, Song Mao, Qunshu Lin, Zhi Yu, Yongliang Shen, Yu Qiao, Botian Shi.*Arxiv 2025.9.29 (ICLR 2026).) -
  다중 에이전트 테스트 주도 개발을 통한 요구사항 기반 웹 애플리케이션 자동 생성 (Yuxuan Wan, Tingshuo Liang, Jiakai Xu, Jingyu Xiao, Yintong Huo, Michael R. Lyu.*Arxiv 2025.9.29.) -
  WebRenderBench: 레이아웃-스타일 일관성 및 강화학습을 통한 웹 인터페이스 생성 향상 (Peichao Lai, Jinhui Zhuang, Kexuan Zhang, Ningchang Xiong, Shengjie Wang, Yanwei Xu, Chong Chen, Yilei Wang, Bin Cui.*Arxiv 2025.10.5.)

ReLook: Vision-Grounded RL with a Multimodal LLM Critic for Agentic Web Coding*Yuhang Li, Chenchen Zhang, Ruilin Lv, Ao Liu, Ken Deng, Yuanxing Zhang, Jiaheng Liu, Wiggin Zhou, Bo Zhou.*Arxiv 2025.10.13.

WebGen-V Bench: Structured Representation for Enhancing Visual Design in LLM-based Web Generation and Evaluation*Kuang-Da Wang, Zhao Wang, Yotaro Shimose, Wei-Yao Wang, Shingo Takamatsu.*Arxiv 2025.10.17.

UIOrchestra: Generating High-Fidelity Code from UI Designs with a Multi-agent System*huhuai Yue, Jiajun Chai, Yufei Zhang, Zixiang Ding, Xihao Liang, Peixin Wang, Shihai Chen, Wang Yixuan, Guojun Yin, Wei Lin.*Arxiv 2025.11.08 (EMNLP Findings 2025).

WebVIA: A Web-based Vision-Language Agentic Framework for Interactive and Verifiable UI-to-Code GenerationMingde Xu, Zhen Yang, Wenyi Hong, Lihang Pan, Xinyue Fan, Yan Wang, Xiaotao Gu, Bin Xu, Jie TangArxiv 2025.11.09.

UI2CodeN: A Visual Language Model for Test-Time Scalable Interactive UI-to-Code GenerationZhen Yang, Wenyi Hong, Mingde Xu, Xinyue Fan, Weihan Wang, Jiele Cheng, Xiaotao Gu, Jie TanggArxiv 2025.11.11.

Computer-Use Agents as Judges for Generative User InterfaceKevin Qinghong Lin, Siyuan Hu, Linjie Li, Zhengyuan Yang, Lijuan Wang, Philip Torr, Mike Zheng ShouArxiv 2025.11.19.

CANVAS: A Benchmark for Vision-Language Models on Tool-Based User Interface DesignDaeheon Jeong, Seoyeon Byun, Kihoon Son, Dae Hyun Kim, Juho KimArxiv 2025.11.25 (AAAI 2026).

• 프로토타이핑을 넘어: 특화된 멀티 에이전트 프레임워크를 통한 픽셀부터 프로덕션까지 자율적인 엔터프라이즈급 프론트엔드 개발 Ramprasath Ganesaraja, Swathika N, Saravanan AP, Kamalkumar Rathinasamy, Chetana Amancharla, Rahul Das, Sahil Dilip Panse, Aditya Batwe, Dileep Vijayan, Veena Ashok, Thanushree A P, Kausthubh J Rao, Alden Olivero, Roshan, Rajeshwar Reddy Manthena, Asmitha Yuga Sre A, Harsh Tripathi, Suganya Selvaraj, Vito Chin, Kasthuri Rangan Bhaskar, Kasthuri Rangan Bhaskar, Venkatraman R, Sajit Vijayakumar Arxiv 2025.12.05. -
  FronTalk: 멀티모달 피드백을 이용한 대화형 코드 생성을 통한 프론트엔드 개발 벤치마킹 Xueqing Wu, Zihan Xue, Da Yin, Shuyan Zhou, Kai-Wei Chang, Nanyun Peng, Yeming Wen Arxiv 2025.12.05. -
  Widget2Code: 멀티모달 LLM을 이용한 시각적 위젯에서 UI 코드로의 변환 Houston H. Zhang, Tao Zhang, Baoze Lin, Yuanqi Xue, Yincheng Zhu, Huan Liu, Li Gu, Linfeng Ye, Ziqiang Wang, Xinxin Zuo, Yang Wang, Yuanhao Yu, Zhixiang Chi Arxiv 2025.12.22 (CVPR 2026). -
  WebCoderBench: 포괄적이고 해석 가능한 평가 지표를 이용한 웹 애플리케이션 생성 벤치마킹 Chenxu Liu, Yingjie Fu, Wei Yang, Ying Zhang, Tao Xie Arxiv 2026.01.05. -
  FullStack-Agent: 개발 중심 테스트 및 리포지토리 백 트랜슬레이션을 통한 에이전트 기반 풀스택 웹 코딩 향상 Zimu Lu, Houxing Ren, Yunqiao Yang, Ke Wang, Zhuofan Zong, Mingjie Zhan, Hongsheng Li Arxiv 2026.02.03. -
  VisRefiner: 스크린샷-투-코드 생성을 위한 시각적 차이 학습 Jie Deng, Kaichun Yao, Libo Zhang Arxiv 2026.02.05.

설계와 구현의 연결: 자동화된 프론트엔드 생성을 위한 다중 에이전트 LLM 아키텍처 연구* Caren Rizk, SayedHassan Khatoonabadi, Emad Shihab(MSR 2026) -
SWE-Bench Mobile: 대규모 언어 모델 에이전트는 산업 수준의 모바일 애플리케이션을 개발할 수 있는가?* Muxin Tian, Zhe Wang, Blair Yang, Zhenwei Tang, Kunlun Zhu, Honghua Dong, Hanchen Li, Xinni Xie, Guangjing Wang, Jiaxuan YouArxiv 2026.02.10. -
**1D-Bench: 이를 위한 벤치마크