지리공간 (Geospatial) 코드는 특이한 실패 모드를 가지고 있습니다. 오류 없이 실행되고 깔끔해 보이는 결과를 생성하면서도, 방법론적으로 틀릴 (methodologically wrong) 수 있다는 점입니다.

AI 코딩 에이전트가 짧은 자연어 지시사항으로부터 완전한 GIS 워크플로우를 생성함에 따라 이 문제는 더욱 중요해지고 있습니다.

문제는 항상 AI 에이전트가 GeoPandas, rasterio, PostGIS, Earth Engine 또는 ArcPy를 알지 못해서 발생하는 것이 아닙니다. 많은 경우, 에이전트는 올바른 API를 알고 있으며 실행 가능한 코드를 생성할 수 있습니다.

문제는 API의 정확성 (API correctness)이 지리공간적 정확성 (geospatial correctness)과 동일하지 않다는 것입니다.

조용한 CRS 실패

간단한 버퍼 (buffer) 연산을 생각해 봅시다:

`buffered = gdf.buffer(1000)`

코드는 합리적으로 보입니다. 성공적으로 실행되며 새로운 기하 구조 (geometries)를 생성합니다.

하지만 1000의 의미는 무엇일까요?

데이터셋이 EPSG:4326과 같은 지리적 좌표 참조 시스템 (geographic coordinate reference system, CRS)을 사용하는 경우, 좌표 단위는 미터 (metres)가 아니라 도 (degrees)입니다. 연산은 여전히 유효한 기하 구조를 반환할 수 있지만, 이는 1,000미터 버퍼를 나타내지 않습니다.

더 안전한 워크플로우는 공간적 가정을 명시적으로 만듭니다:

if gdf.crs is None:
    raise ValueError("The input dataset has no CRS.")

...

이 패턴조차 보편적으로 올바른 것은 아닙니다. 국지적으로 추정된 UTM 투영 (UTM projection)은 여러 존 (zones), 국가 또는 대륙에 걸쳐 있는 데이터셋에는 부적합할 수 있습니다.

중요한 점은 특정 코드 스니펫 하나가 아닙니다. 방어적인 워크플로우는 반드시 다음과 같이 질문해야 합니다:

CRS가 정의되었는가?
좌표 단위가 적절한가?
투영 (projection)이 지리적 범위에 적합한가?
출력을 어떻게 검증할 것인가?

이러한 확인 절차 없이는, 그럴듯해 보이는 출력이 잘못된 공간 연산을 숨길 수 있습니다.

실제보다 더 좋아 보이는 머신러닝 결과

공간 머신러닝 (Spatial machine learning)도 유사한 문제를 가지고 있습니다.

일반적인 모델 평가는 무작위 훈련/테스트 분할 (train/test split)로 시작합니다:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
...

독립적인 관측치 (independent observations)의 경우, 이는 합리적인 시작점이 될 수 있습니다.

하지만 공간적 관측치 (Spatial observations)는 종종 인근의 관측치와 상관관계 (correlated)를 가집니다. 무작위 분할 (random split)을 수행하면 인접한 샘플들이 훈련 세트 (training set)와 테스트 세트 (test set) 모두에 포함될 수 있습니다.

이 경우 모델은 일반화 (generalize)되는 것처럼 보이지만, 실제로는 국지적인 공간적 유사성 (local spatial similarity)을 이용하고 있을 뿐일 수 있습니다.

이는 인상적인 정확도 점수를 만들어낼 수 있지만, 모델을 진정으로 새로운 지역에 적용할 때는 그 점수가 붕괴될 수 있습니다.

더 방어 가능한 평가를 위해서는 다음이 필요할 수 있습니다:

• 공간 블록 (spatial blocks) 또는 지리적 그룹 (geographic groups)
• 지역 수준의 홀드아웃 (region-level holdouts)
• 거리 기반 분리 (distance-based separation)
• 미래 예측을 위한 시간적 분리 (temporal separation)
• 잔차 (residuals) 및 예측 오차 (prediction errors) 지도
• 무작위 검증 (random validation)과 공간 검증 (spatial validation) 간의 비교

공간 블록 검증 (Spatially blocked validation)은 종종 더 낮은 점수를 생성합니다.

그 낮은 점수가 더 정직한 결과일 수 있습니다.

렌더링은 검증이 아닙니다

지도는 또 다른 형태의 침묵하는 실패 (silent failure)를 유발합니다.

지도는 다음과 같은 상황에서도 올바르게 렌더링될 수 있습니다:

• 부적절한 투영법 (unsuitable projection) 사용
• 오도하는 분류 경계 (misleading classification boundaries)
• 날짜별로 일치하지 않는 스케일 (inconsistent scales)
• 접근 불가능한 색상 선택 (inaccessible colour choices)
• 보고되지 않은 결측치 (unreported missing values)
• 처리 과정에서 조용히 제거된 기하 구조 (geometries)

변화 탐지 (change-detection) 지도는 소스 래스터 (source rasters)가 잘못 등록되었거나, 서로 다른 계절에 수집되었거나, 호환되지 않는 수준으로 처리되었음에도 불구하고 설득력 있게 보일 수 있습니다.

성공적인 렌더링은 소프트웨어가 이미지를 생성했음을 증명할 뿐입니다.

분석이 유효하다는 것을 증명하지는 않습니다.

AI 에이전트에게 API 지식 이상의 무엇이 필요한가

범용 코딩 에이전트 (general-purpose coding agent)는 어떤 함수를 호출해야 하는지는 알 수 있습니다. 하지만 워크플로 (workflow)가 언제 멈춰야 하는지는 반드시 알지 못합니다.

지리공간 작업 (geospatial tasks)을 위해 에이전트에게는 명시적인 운영 규칙이 필요합니다:

• 지리 좌표계 (geographic CRS)에서 면적이나 거리를 계산하지 마십시오.
• 예측 모델링 (predictive modelling) 시 공간적 누수 (spatial leakage)를 기본 위험 요소로 취급하십시오.
• 기하 구조 (geometries)를 검증하고 입력 및 출력 행 수를 확인하십시오.
• 래스터 (raster) 및 딥러닝 (deep-learning) 파이프라인을 통해 지리 참조 (georeferencing)를 유지하십시오.
• 분석 방법이 지원하는 경우 불확실성 (uncertainty)을 보고하십시오.
• 출력을 수치적 및 시각적으로 검증하십시오.
• 잘못된 결과를 생성하는 대신, 유효하지 않은 공간적 또는 시간적 비교를 거부하십시오.

이것들은 분석 후에 추가되는 선택적인 개선 사항이 아닙니다.

이것들은 분석 방법 그 자체의 일부입니다.

**

GeoAI 기술 구축 (Building GeoAI Skills)

**

저는 이러한 안전 장치들을 재사용 가능한 에이전트 기술 (Agent Skills)로 인코딩하기 위해 GeoAI Skills를 구축했습니다.

현재 공개 프리뷰에는 다음을 포함하는 18가지 기술이 포함되어 있습니다:

• 지리공간 데이터 엔지니어링 (geospatial data engineering)
• PostGIS 및 공간 SQL (spatial SQL)
• 원격 탐사 (remote sensing)
• Google Earth Engine
• 지리공간 딥러닝 (geospatial deep learning)
• 공간 통계 (spatial statistics)
• 지질 통계 및 보간 (geostatistics and interpolation)
• 지형 및 수문학 (terrain and hydrology)
• 적지 분석 (suitability analysis)
• 포인트 클라우드 및 LiDAR
• 네트워크 접근성 (network accessibility)
• 이동 궤적 (movement trajectories)
• 변화 탐지 (change detection)
• 지도 제작 및 지리 시각화 (cartography and geovisualization)
• 보호된 ArcGIS Pro 자동화 (guarded ArcGIS Pro automation)
• 머신러닝 실험 표준 (machine-learning experiment standards)
• 소프트웨어 엔지니어링 및 DevOps 관행 (software engineering and DevOps practices)
• 다단계 GeoAI 워크플로 오케스트레이션 (multi-stage GeoAI workflow orchestration)

목표는 AI 에이전트가 GIS 전문가처럼 들리게 만드는 것이 아닙니다.

목표는 가정을 가시화하고, 검증을 요구하며, 워크플로를 방어할 수 없을 때 명확하게 실패(fail loudly)하도록 만드는 것입니다.

예를 들어, 토지 적합성 (land-suitability) 요청은 데이터 준비, 원격 탐사, 지형 분석, 다기준 의사결정 분석 (multi-criteria decision analysis), 그리고 지도 제작 결과물 전달을 포함할 수 있습니다.

GeoAI Skills는 중앙 오케스트레이터 (orchestrator)를 사용하여 CRS 확인, 누수 방지, 불확실성 보고 및 검증과 같은 공유 안전 장치를 유지하면서 각 단계를 관련 전문 기술로 라우팅합니다.

**

보호된 ArcGIS Pro 자동화 (Guarded ArcGIS Pro automation)

**

이 스위트에는 arcgis-pro-automation 기술도 포함되어 있습니다.

이 스위트는 제 오픈 소스 프로젝트인 arcgis-mcp-bridge와 연동되어 제어된 로컬 ArcPy 실행을 지원합니다.

*이 통합 기능은 다음을 포함하는 워크플로우를 다룹니다:
*

• ArcGIS Pro 프로젝트
• 파일 및 엔터프라이즈 지리 데이터베이스 (geodatabases)
• 벡터 및 래스터 지오프로세싱 (geoprocessing)
• 공간 및 통계 분석 (spatial and statistical analysis)
• 네트워크 분석 (network analysis)
• 지도 및 레이아웃 (maps and layouts)

ArcPy 작업은 실제 프로젝트와 데이터셋을 수정할 수 있으므로, 실행 모델에는 변경(mutating) 또는 파괴적(destructive) 작업에 대한 경로 제한 및 확인 게이트(confirmation gates)가 포함되어 있습니다.

목표는 제한 없는 자동화가 아닙니다.

명시적인 경계가 있는 제어된 자동화입니다.

**

올바른 스킬이 활성화되는지 테스트하기

**

에이전트가 적절한 요청에 대해 스킬을 활성화하지 않거나, 관련 없는 요청에 스킬을 활성화한다면 그 스킬은 유용하지 않습니다.

현재 저장소에는 18개 스킬에 걸쳐 131개의 유형화된 평가 시나리오가 포함되어 있습니다.

이 시나리오에는 다음이 포함됩니다:

• 긍정적 활성화 사례 (positive activation cases)
• 부정적 사례 (negative cases)
• 모호한 요청 (ambiguous requests)
• 관련 스킬 간의 충돌 (collisions between related skills)
• 아티팩트 중심 평가 (artifact-oriented evaluations)

Claude Code 2.1.214 및 Claude Sonnet 5를 사용하여 17개 스킬, 120개 사례로 고정된 라우팅 스위트(routing suite)를 테스트한 결과, 발표된 수치는 다음과 같습니다:

라우팅 정밀도 (routing precision) 100%
라우팅 재현율 (routing recall) 92.86%
전체 경로 정확도 (full-route accuracy) 92.5%

이 결과에는 중요한 한계가 있습니다.

이 수치는 해당 런타임, 모델 및 평가 스위트에 대해 예상된 스킬이 선택되었는지를 측정합니다. 이는 생성된 모든 분석이 정확하다는 것을 증명하는 것이 아니며, 보편적인 호환성이나 답변 품질을 보장한다는 주장도 아닙니다.

열여덟 번째 스킬인 arcgis-pro-automation은 고정된 벤치마크 이후에 추가되었으므로 위 주요 수치에는 포함되지 않았습니다.

라우팅 증거, 행동의 정확성, 그리고 실제 분석 품질은 별도로 평가되어야 합니다.

퍼블릭 프리뷰(public preview) 시도하기

전체 스위트는 다음 명령어를 통해 대화형으로 탐색하고 설치할 수 있습니다:

npx skills add muend/geoai-skills

단일 전문 스킬도 독립적으로 설치할 수 있습니다:

npx skills add muend/geoai-skills --skill postgis-spatial-sql

GitHub repository:

https://github.com/muend/geoai-skills

Skills collection:

https://www.skills.sh/muend/geoai-skills

이 프로젝트는 아직 초기 공개 미리보기 (early public preview) 단계입니다.

저는 특히 다음과 같은 재현 가능한 사례들에 관심이 있습니다:

• 성공적으로 실행되었으나 잘못된 결과를 생성한 GIS 코드
• 실제 머신러닝 (machine-learning) 프로젝트에서의 공간적 누수 (spatial leakage)
• 명시적으로 방어해야 하는 ArcGIS Pro 또는 ArcPy의 실패 모드 (failure modes)
• 잘못된 전문 스킬을 활성화할 수 있는 모호한 요청
• 현재 스위트 (suite)에서 아직 요구하지 않는 중요한 검증 단계

여러분이 경험한 가장 흔한 침묵하는 지리공간적 실패 (silent geospatial failure)는 무엇인가요?