Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
BIM-Edit은 IFC 형식의 빌딩 정보 모델링(BIM) 데이터를 자연어로 편집하는 능력을 평가하기 위한 새로운 LLM 벤치마크입니다. 기하학적, 의미론적, 위상적 일관성을 기준으로 모델을 평가하며, 현재 LLM의 엔지니어링 설계 역량이 부족함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)은 텍스트 지침으로부터 설계 결과물을 생성하기 위해 컴퓨터 보조 설계 (CAD) 분야에 점점 더 많이 적용되고 있습니다. 엔지니어링 실무에서는 단순히 새로운 기하 구조를 생성하는 것 이상이 필요합니다. 모델은 기존 장면을 이해하고, 이를 정확하게 편집하며, 의미론적 정보 (semantics)와 관계를 보존해야 합니다. 그러나 많은 CAD 벤치마크는 기존 모델을 편집하기보다는 새로운 모델을 생성하는 데 집중하며, 주로 기하학적 정확성 (geometric correctness)을 평가합니다. 우리는 Industry Foundation Classes (IFC) 형식으로 표현된 빌딩 정보 모델링 (BIM)의 자연어 편집에 대한 LLM 평가를 위한 벤치마크인 BIM-Edit을 소개합니다. BIM은 빌딩 모델이 기하 구조를 의미론적 및 관계적 구조와 함께 인코딩하기 때문에 도전적인 테스트베드를 제공합니다. BIM-Edit은 11개의 실제 빌딩 모델과 36개의 합성 장면을 아우르는 324개의 편집 작업을 포함합니다. 작업은 직접적 (direct), 공간적 (spatial), 위상적 (topological)인 세 가지 지침 범주를 사용하여 표현되며, 명시적 편집과 장면 기반 (scene-grounded) 편집을 모두 다룹니다. 우리는 세 가지 차원, 즉 기하학적 정확성 (geometric accuracy), 의미론적 유효성 (semantic validity), 위상적 일관성 (topological consistency)을 따라 출력을 평가합니다. 평가된 LLM들 중에서 가장 성능이 좋은 모델도 세 가지 지표 전체에서 평균 49.5%의 점수만을 달성했으며, 어떤 모델도 작업의 3.4% 이상을 완전히 해결하지 못했습니다. 이러한 결과는 현재의 LLM 능력과 구조화된 엔지니어링 설계 워크플로우의 요구 사항 사이에 상당한 격차가 있음을 보여줍니다.