AI 에이전트는 컴퓨터 아키텍처를 이해하는가?

요약

본 논문은 AI 에이전트가 하드웨어 아키텍처를 설계할 때, 단순히 성능 개선을 넘어 '왜' 개선되었는지 이해하는지 탐구합니다. AutoTuring이라는 새로운 평가 방식을 도입하여, 명시적 지식(named knobs)과 익명 변수(anonymous variables)로 구성된 동일한 가속기 공간에서 에이전트를 테스트했습니다. 그 결과, 아키텍트가 모델링된 H200보다 높은 성능을 보였으나, 구조화된 비평은 오히려 대체재처럼 작동하는 경향을 발견했습니다.

핵심 포인트

• 에이전트의 하드웨어 설계 능력을 평가할 때 '개선 여부'와 '원리 이해'를 분리하여 측정해야 합니다.
• AutoTuring 방식은 명명된 아키텍처 노브와 익명의 변수를 비교하여 에이전트가 구조적 지식을 갖는지 검증합니다.
• 아키텍트의 설계 능력과 비평 루프의 피드백은 상보적이기보다 대체재처럼 작동할 수 있습니다.