AI가 도시 계획가처럼 추론할 수 있는가? 전문가의 판단을 대상으로 한 대규모 언어 모델(LLM) 벤치마킹

문제, 연구 전략 및 결과: 대규모 언어 모델 (LLMs)의 부상은 도시 계획 분야에 핵심적인 질문을 던집니다. 즉, AI가 어떤 형태의 전문적인 계획 지식을 복제할 수 있으며, 어떤 부분에 여전히 인간의 판단이 필요한가 하는 점입니다. 계획 실무에서 AI 도구의 사용이 점점 증가하고 있음에도 불구하고, AI가 계획 전문성의 핵심인 맥락적 민감성 (contextual sensitivity), 가치 인식 (value awareness), 그리고 제도적 문해력 (institutional literacy)을 바탕으로 추론할 수 있는지 테스트할 체계적인 프레임워크는 아직 존재하지 않습니다. 본 논문은 Bloom의 수정된 분류법 (Bloom's revised taxonomy)에서 채택한 4개의 지식 기둥 (knowledge pillars)과 5개의 인지 수준 (cognitive levels)으로 구성된 4x5 매트릭스를 통해 LLM의 추론을 평가하는 도메인 특화 평가 프레임워크인 Urban Planning Bench (UPBench)를 소개합니다. 자동 채점 및 전문가 검토를 통해 25개의 LLM을 평가한 결과, 우리는 비단조적 인지 곡선 (non-monotonic cognitive curve)을 발견했습니다. 모델들은 사실적 회상 (factual recall)이나 통합적 판단 (integrative judgment)보다 고차원적인 분석 작업에서 더 나은 성능을 보였습니다. 이는 흔히 저차원적인 것으로 취급되는 계획 지식이 제도적, 관할권적, 시간적 맥락에 의해 깊게 형성되어 있어, LLM이 이를 일반화하기 어렵게 만든다는 것을 시사합니다. 우리는 이러한 한계들을 네 가지 인식론적 진단 (epistemic diagnostics)으로 요약합니다: 규제적 환각 (regulatory hallucination), 개념적 혼동 (conceptual conflation), 난제적 마비 (wickedness paralysis), 그리고 실천적 지혜 결핍 (phronetic deficit). 실무적 시사점: 본 연구 결과는 계획 분야에서의 차등적 위임 (differential delegation)을 지지합니다. LLM은 학제 간 종합 (cross-disciplinary synthesis), 문헌 검토 (literature review), 시나리오 생성 (scenario generation), 그리고 예비 정책 분석 (preliminary policy analysis)을 보조할 수 있습니다. 그러나 관할권별 규제 (jurisdiction-specific regulation), 규범적 갈등 해결 (normative conflict resolution), 그리고 맥락 민감적 절차 (context-sensitive procedure)에 대해서는 여전히 신뢰할 수 없습니다. 기관들은 AI 보조 규제 분석에 대해 검증을 요구해야 하며, 도시 계획 교육은 제도적 문해력, 규범적 판단, 그리고 맥락적 민감성을 강조해야 합니다.