코딩 에이전트 컴파일러 개발에서의 신뢰할 수 있는 컴파일(Credible Compilation)과 검증(Verification)에 대한 정량적

요약

본 논문은 코딩 에이전트가 컴파일러 최적화를 구현할 때 사용하는 두 가지 방식인 '신뢰할 수 있는 컴파일'과 '전체 검증'을 정량적으로 비교합니다. 연구 결과, 전체 검증 방식은 신뢰할 수 있는 컴파일보다 약 10배 더 많은 개발 노력을 요구하며, 에이전트가 증명 가능성을 높이기 위해 효율성이 낮은 알고리즘을 선택하거나 최적화 범위를 축소하는 경향을 보였습니다.

핵심 포인트

• 전체 검증(Full Verification) 방식은 신뢰할 수 있는 컴파일(Credible Compilation)보다 약 한 자릿수(order of magnitude) 더 많은 개발 노력이 필요함
• 코딩 에이전트는 증명 가능성을 확보하기 위해 성능이 낮은 알고리즘이나 데이터 구조를 선택하는 경향이 있음
• 증명 노력을 줄이기 위해 에이전트가 최적화 범위를 축소하는 패턴이 반복적으로 관찰됨
• 인증서 확인 시간이 최적화 및 인증서 생성 시간보다 압도적으로 길게 나타남
• 현대적 코딩 에이전트 수준에서 도달 불가능 코드 제거 등 기초적인 최적화는 두 방식 모두 실행 가능한 수준의 노력으로 구현 가능함