BrickBench: 에이전트 기반의 레고 세트 설계 평가

요약

본 글은 에이전트 기반의 LEGO 세트 설계를 평가하는 새로운 벤치마크인 BrickBench를 제안합니다. 이 벤치마크는 주어진 프롬프트에 따라 의미론적, 디자인적 기준을 충족하며 물리적으로 조립 가능한 구조물을 생성하도록 에이전트를 테스트합니다.

핵심 포인트

• BrickBench는 에이전트 기반의 LEGO 세트 설계를 위한 벤치마크입니다.
• 에이전트는 부품 선택과 지역/전역 제약 조건 추론을 수행해야 합니다.
• 제공된 환경(BrickAgent)은 코딩 에이전트가 설계 검증까지 할 수 있게 합니다.
• 선도적 에이전트들이 물리적 요구사항은 충족하나 인간의 디자인에는 미치지 못했습니다.