Vibe Coding이 내 숙제를 먹어치웠다: 그린필드 (Greenfield) 소프트웨어 엔지니어링 및 프로그래밍에 대한 AI 접근 방식 평가

생성형 AI (Generative AI)의 급격한 발전 덕분에, 우리는 컴퓨터와 상호작용하는 방식을 영원히 바꿀 수도 있는 패러다임 전환의 중심에 서 있습니다. 우리는 해당 분야에 대한 기저 지식 없이도 애플리케이션과 코딩 인프라를 구축하기 위해 자연어 프롬프트 (Natural language prompts)를 사용하는 사례가 증가하는 것을 목격해 왔으며, 이러한 관행은 '바이브 코딩 (vibe coding)'이라 명명되었습니다. 이는 프로그래밍 분야가 구상해 온 모든 고수준 추상화 (Abstraction) 단계와 함께, 시작 이래로 지향해 온 목표를 대변한다고 볼 수 있습니다. 바이브 코딩은 입력 방식 측면에서 고수준 프로그래밍의 메타 (Meta)가 도달할 종착점이 될 것을 약속합니다. 즉, 인간의 코드 구문 (Syntax) 사용을 완전히 제거하고 모국어로 프로그래밍하는 것을 지향합니다. 본 논문은 그린필드 (Greenfield) 소프트웨어 엔지니어링 작업에 대한 바이브 코딩의 실행 가능성을 평가하고, 소프트웨어 엔지니어링 역량을 측정하는 데 사용된 벤치마크 (Benchmarks)를 분석하는 것을 목표로 합니다. 이를 위해, 우리는 이 문제에 대한 범위가 정해진 통찰력을 제공하고자 Python을 사용하여 단순하고 고립된 그린필드 프로그래밍 작업을 수행하는 LLM (Large Language Model)의 숙련도를 분석하기 위한 평가 스위트 (Evaluation suite)를 개발했습니다.