BIM-Edit: IFC 기반 빌딩 정보 모델링 (BIM)을 위한 대규모 언어 모델 (LLM) 벤치마킹

대규모 언어 모델 (LLMs)은 텍스트 지침으로부터 설계 결과물을 생성하기 위해 컴퓨터 보조 설계 (CAD) 분야에 점점 더 많이 적용되고 있습니다. 엔지니어링 실무에서는 단순히 새로운 기하 구조를 생성하는 것 이상이 필요합니다. 모델은 기존 장면을 이해하고, 이를 정확하게 편집하며, 의미론적 정보 (semantics)와 관계를 보존해야 합니다. 그러나 많은 CAD 벤치마크는 기존 모델을 편집하기보다는 새로운 모델을 생성하는 데 집중하며, 주로 기하학적 정확성 (geometric correctness)을 평가합니다. 우리는 Industry Foundation Classes (IFC) 형식으로 표현된 빌딩 정보 모델링 (BIM)의 자연어 편집에 대한 LLM 평가를 위한 벤치마크인 BIM-Edit을 소개합니다. BIM은 빌딩 모델이 기하 구조를 의미론적 및 관계적 구조와 함께 인코딩하기 때문에 도전적인 테스트베드를 제공합니다. BIM-Edit은 11개의 실제 빌딩 모델과 36개의 합성 장면을 아우르는 324개의 편집 작업을 포함합니다. 작업은 직접적 (direct), 공간적 (spatial), 위상적 (topological)인 세 가지 지침 범주를 사용하여 표현되며, 명시적 편집과 장면 기반 (scene-grounded) 편집을 모두 다룹니다. 우리는 세 가지 차원, 즉 기하학적 정확성 (geometric accuracy), 의미론적 유효성 (semantic validity), 위상적 일관성 (topological consistency)을 따라 출력을 평가합니다. 평가된 LLM들 중에서 가장 성능이 좋은 모델도 세 가지 지표 전체에서 평균 49.5%의 점수만을 달성했으며, 어떤 모델도 작업의 3.4% 이상을 완전히 해결하지 못했습니다. 이러한 결과는 현재의 LLM 능력과 구조화된 엔지니어링 설계 워크플로우의 요구 사항 사이에 상당한 격차가 있음을 보여줍니다.