위성 이미지 딥러닝 기법 개요

딥러닝은 방대한 이미지 크기나 다양한 객체 클래스 등 고유한 난제를 해결하며 위성 및 항공 이미지 분석과 해석에 혁명을 가져왔습니다. 이 저장소는 위성 및 항공 이미지 처리에 특별히 맞춰진 딥러닝 기법들을 포괄적으로 제공합니다. 분류(classification), 분할(segmentation), 객체 탐지(object detection)와 같은 주요 작업에 적합한 다양한 아키텍처, 모델, 알고리즘을 다룹니다.

이 저장소 사용 방법: Command + F (Mac) 또는 CTRL + F (Windows)를 사용하여 'SAM'과 같이 검색할 수 있습니다.

• 분류(Classification)
• 분할(Segmentation)
• 객체 탐지(Object detection)
• 회귀(Regression)
• 구름 탐지 및 제거(Cloud detection & removal)
• 변화 탐지(Change detection)
• 시계열(Time series)
• 작물 분류(Crop classification)
• 작물 수확량 및 식생 예측(Crop yield & vegetation forecasting)
• 생성 네트워크(Generative networks)
• 오토인코더, 차원 축소, 이미지 임베딩 및 유사성 검색(Autoencoders, dimensionality reduction, image embeddings & similarity search)
• 소수/제로샷 학습(Few & zero shot learning)
• 자기 지도, 비지도 및 대조 학습(Self-supervised, unsupervised & contrastive learning)
• SAR
• 설명 가능한 AI (XAI)
• 대규모 시각 및 언어 모델 (LLMs & LVMs)
• 기초 모델(Foundational models)

UC merced 데이터셋은 잘 알려진 분류 데이터셋입니다.

분류(Classification)는 원격 탐사 데이터 분석에서 근본적인 작업으로, '도시', '산림', '농경지' 등과 같이 각 이미지에 의미론적 레이블을 할당하는 것을 목표로 합니다. 이미지에 레이블을 할당하는 과정을 이미지 레벨 분류(image-level classification)라고 합니다. 하지만 어떤 경우에는 단일 이미지가 강을 가로지르는 산림이나 주거 지역과 상업 지역이 모두 있는 도시와 같이 여러 개의 다른 토지 피복 유형을 포함할 수 있습니다. 이러한 경우, 이미지 레벨 분류는 더욱 복잡해지며 단일 이미지에 여러 레이블을 할당하는 것을 포함합니다. 이는 특징 추출(feature extraction)과 머신러닝 알고리즘의 조합을 사용하여 다양한 토지 피복 유형을 정확하게 식별함으로써 수행할 수 있습니다. 중요한 점은 이미지 레벨 분류를 의미론적 분할(semantic segmentation)이라고도 알려진 픽셀 레벨 분류와 혼동해서는 안 된다는 것입니다. 이미지 레벨 분류가 전체 이미지에 단일 레이블을 할당하는 반면, 의미론적 분할은 이미지의 개별 픽셀 각각에 레이블을 할당하여 이미지 내 토지 피복 유형의 매우 상세하고 정확한 표현을 만들어냅니다. [A brief introduction to satellite image classification with neural networks]를 읽어보세요.

EuroSat-Satellite-CNN-and-ResNet -> PyTorch를 사용하여 CNN(Convolutional Neural Networks)과 ResNet(Residual Networks)을 처음부터 생성하여 사용자 지정 이미지 데이터셋 분류하기

Land-Cover-Classification-using-Sentinel-2-Dataset -> 이 레포와 함께 작성된 잘 쓰인 Medium 아티클이지만 EuroSAT 데이터셋을 사용함

VHR(Pleiades: 0.5m) 및 MR(Sentinel: 10m) 이미지를 이용한 슬럼 매핑

위성 이미지와 컨볼루션 신경망을 사용하여 도시 환경 비교 -> Urban Atlas 데이터셋의 각 이미지에 대해 추출된 이미지 임베딩 특징에 대한 흥미로운 연구가 포함됨

RSI-CB -> 크라우드소싱 데이터를 통한 대규모 원격 탐사 이미지 분류 벤치마크. 또한 [Remote-sensing-image-classification]도 참고하세요.

• WaterNet -> 위성 이미지에서 물을 식별하는 CNN

• Road-Network-Classification -> ResNet-34를 사용한 도로 네트워크 분류 모델. 도로 클래스는 유기적(organic), 격자형(gridiron), 방사형(radial) 및 패턴 없음으로 구분함.

• SSTN -> 초분광 이미지 분류를 위한 스펙트럴-공간 변환기 네트워크 (Spectral-Spatial Transformer Network for Hyperspectral Image Classification): FAS 프레임워크

• SatellitePollutionCNN -> 딥러닝과 GoogleMaps 위성 이미지를 사용하여 공기 오염 수준을 예측하는 새로운 알고리즘. 최신 정확도를 자랑함.

• PropertyClassification -> 부동산(Real Estate), 위성 이미지, 스트리트 뷰 이미지를 기반으로 속성 유형 분류

• remote-sense-quickstart -> 어텐션 시각화(attention visualization)를 포함하여 여러 데이터셋에 대한 분류 수행

• IGARSS2020_BWMS -> 고차원 원격 감지 이미지의 특징 임베딩을 위한 새로운 CNN 아키텍처를 갖춘 대역별 다중 스케일 CNN 구조 (Band-Wise Multi-Scale CNN Architecture for Remote Sensing Image Scene Classification)

• image.classification.on.EuroSAT -> 순수 PyTorch 기반 솔루션

• hurricane_damage -> 항공 이미지를 기반으로 한 허리케인 피해 구조물 평가

• ISPRS_S2FL -> 공유 및 특정 특징 학습 모델을 이용한 토지 피복 분류를 위한 다중 모드 원격 감지 벤치마크 데이터셋 (Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model)

• ensemble_LCLU -> 원격 감지 토지 피복 및 토지 이용 분류를 위한 심층 신경망 앙상블

• Urban-Analysis-Using-Satellite-Imagery -> 분할(segmentation)과 분류(classification)의 조합을 사용하여 도시 지역이 계획되었는지 또는 비계획적인지 분류

• mining-discovery-with-deep-learning -> 딥러닝을 사용한 위성 이미지에서의 광산 및 폐기물 댐 탐지

• sentinel2-deep-learning -> Sentinel-2 이미지를 위한 토지 분류의 새로운 훈련 방법론

• Pay-More-Attention -> 향상된 어텐션 모듈(Enhanced Attention Module)을 기반으로 한 원격 감지 이미지 장면 분류

• SKAL -> 장면을 더 자세히 보기: 원격 감지 이미지 장면 분류를 위한 다중 스케일 표현 학습 (Looking Closer at the Scene: Multiscale Representation Learning for Remote Sensing Image Scene Classification)

• SAFF -> 원격 감지 장면 분류를 위한 자체 어텐션 기반 심층 특징 융합 (Self-Attention-Based Deep Feature Fusion for Remote Sensing Scene Classification)

• GLNET: 맑은 환경과 흐린 환경에서의 컨볼루션 신경망 기반 원격 감지 장면 분류

• Remote-sensing-image-classification: PyTorch를 사용하여 원격 감지 데이터를 항공기, 선박, 없음의 세 가지 클래스로 분류하기 위한 전이 학습(transfer learning)

• remote_sensing_pretrained_models: ImageNet에서 사전 훈련된 모델을 미세 조정하는 대안으로, 여기에는 RSD46-WHU 및 AID 데이터셋에서 사전 훈련된 일부 CNN이 있습니다.

• OBIC-GCN: 그래프 컨볼루션 네트워크(Graph Convolutional Networks)를 사용한 원격 감지 이미지의 객체 기반 분류 프레임워크

• aitlas-arena: 지구 관측(Earth Observation, EO) 분야의 이미지 분류에 대한 최첨단 딥러닝 접근 방식을 평가하기 위한 오픈 소스 벤치마크 프레임워크

• droughtwatch: 북부 케냐 가축을 위한 사료 조건 위성 기반 예측

• JSTARS_2020_DPN-HRA: 하이퍼스펙트럴 이미지 분류를 위한 혼합 잔차 주의(Hybrid Residual Attention)를 갖춘 심층 프로토타입 네트워크(Deep Prototypical Networks)

• SIGNA: 다중 레이블 원격 감지 이미지 분류를 위한 의미론적 인터리빙 전역 채널 주의(Semantic Interleaving Global Channel Attention)

• PBDL: 원격 감지 장면 분류를 위한 패치 기반 판별 학습(Patch-Based Discriminative Learning)

• EmergencyNet: 드론을 이용한 화재 및 기타 비상사태 식별

• satellite-deforestation: 위성 이미지를 사용하여 삼림 벌채의 주요 지표를 파악하는 방법, 아마존을 우주에서 이해하기 위한 Kaggle 챌린지에 적용됨

• RSMLC: 원격 감지 이미지 다중 레이블 분류를 위한 특징 추출기로서의 심층 네트워크 아키텍처

• FireRisk: 지도 학습 및 준지도 학습(Self-supervised Learning)을 사용한 화재 위험 평가를 위한 원격 감지 데이터셋과 벤치마크

• flood_susceptibility_mapping: 베를린, 독일에서 데이터 기반 모델을 사용하여 도시 홍수 취약성 매핑에 접근하기

• Building-detection-and-roof-type-recognition: 단일 항공 이미지를 사용한 자동 건물 탐지 및 지붕 유형 인식을 위한 CNN 기반 접근 방식

SNN4Space -> 토지 피복 및 토지 이용 분류 작업에 스파이킹 신경망(SNN)을 배포하는 타당성을 조사하는 프로젝트

vessel-classification -> AIS 데이터를 기반으로 선박을 분류하고 어업 활동을 식별합니다

RSMamba -> 상태 공간 모델(State Space Model)을 이용한 원격 탐사 이미지 분류

BirdSAT -> 조류 종 분류 및 매핑을 위한 교차 뷰 대조 마스크드 오토인코더(Cross-View Contrastive Masked Autoencoders)

EGNNA_WND -> 그래프 신경망(Graph Neural network)을 활용하여 웨스트 나일병 존재 여부를 추정합니다

cyfi -> Sentinel-2 위성 이미지를 기반으로 남세균 밀도를 추정합니다

3DGAN-ViT -> 복잡한 습지 분류를 위한 생성적 적대 신경망(Generative Adversarial Networks) 및 비전 트랜스포머(Vision Transformer) 기반의 딥러닝 프레임워크

automatic_solar_pv_detection -> 딥 신경망 전이 학습을 이용한 자동 태양광 발전 패널 이미지 분류

U-netR -> U-Net을 활용한 토지 이용 및 피복 분류: Sentinel-1 및 Sentinel-2 이미지를 결합하는 장점 논문

nshaud/DeepNetsForEO -> 원격 탐사 이미지 분류를 위한 최신 아키텍처의 PyTorch 구현이 포함된 지구 관측(Earth Observation)을 위한 딥 네트워크

sentinel-landslide-cls -> Sentinel-1 및 Sentinel-2 데이터를 사용한 산사태 감지 분류

Infra-Bench CLS -> 논문 코드: Infra-Bench CLS: 지구 관측 재단 모델을 활용한 핵심 인프라 분류를 위한 글로벌 오픈 소스 벤치마크

Detecting old-growth forests -> 논문 코드: 지리 공간 임베딩(Geospatial embeddings)이 오래된 성장림을 감지하지만, 버퍼링된 공간 검증은 센티넬 특징 대비 그 이점을 축소합니다

Hyperspectral-Image-Models -> 논문 코드: 초분광 이미지 모델을 위한 PyTorch 라이브러리: 기술 보고서

(왼쪽) 위성 이미지와 (오른쪽) 이미지의 의미론적 클래스입니다.

이미지 분할(Image segmentation)은 이미지 분석 및 컴퓨터 비전에서 중요한 단계로, 이미지를 의미론적으로 유의미한 세그먼트 또는 영역으로 나누는 것을 목표로 합니다. 이미지 분할 과정은 이미지의 각 픽셀에 클래스 레이블을 할당하며, 효과적으로 이미지를 픽셀의 2D 그리드에서 할당된 클래스 레이블이 있는 픽셀의 2D 그리드로 변환합니다. 이미지 분할의 일반적인 응용 분야 중 하나는 도로 또는 건물 분할(road or building segmentation)로, 여기서 목표는 이미지 내 다른 특징들로부터 도로와 건물을 식별하고 분리하는 것입니다. 이 작업을 수행하기 위해 단일 클래스 모델(single class models)이 종종 도로와 배경 사이, 또는 건물과 배경 사이를 구별하도록 훈련됩니다. 이러한 모델은 색상(color), 질감(texture), 모양(shape) 등 도로나 건물의 특징적인 특정 특징을 인식하도록 설계되었으며, 이 정보를 사용하여 이미지의 픽셀에 클래스 레이블을 할당합니다. 이미지 분할의 또 다른 일반적인 응용 분야는 토지 이용 또는 작물 유형 분류(land use or crop type classification)로, 여기서 목표는 이미지 내 다양한 토지 피복 유형(land cover types)을 식별하고 지도화하는 것입니다. 이 경우, 숲(forests), 도시 지역(urban areas), 농경지(agricultural land)와 같이 이미지 내 여러 클래스 사이를 인식하고 구별하기 위해 일반적으로 다중 클래스 모델(multi-class models)이 사용됩니다. 이러한 모델은 서로 다른 토지 피복 유형 간의 복잡한 관계를 인식할 수 있어, 이미지 콘텐츠에 대한 보다 포괄적인 이해를 가능하게 합니다. 신경망을 이용한 위성 이미지 분할에 대한 간단한 소개를 읽어보십시오. 참고로 '초분광 토지 분류(hyperspectral land classification)'를 언급하는 많은 논문들이 실제로는 의미론적 분할(semantic segmentation)을 설명하고 있는 경우가 많습니다.

• CDL-Segmentation -> Deep Learning Based Land Cover and Crop Type Classification: A Comparative Study. UNet, SegNet & DeepLabv3+ 비교

• LoveDA -> Domain Adaptive Semantic Segmentation을 위한 원격 탐사 토지 피복 데이터셋

CNN_Enhanced_GCN -> 하이퍼스펙트럴 이미지 분류를 위한 픽셀 및 슈퍼픽셀 수준 특징 융합을 갖춘 CNN 기반 그래프 컨볼루션 네트워크 (CNN-Enhanced Graph Convolutional Network)

LULCMapping-WV3images-CORINE-DLMethods -> 심층 학습 기반 분할 접근 방식과 VHR Worldview-3 이미지를 사용한 토지 이용 및 토지 피복 매핑(Land Use and Land Cover Mapping)

MCANet -> 토지 이용 분류를 위한 광학 및 SAR 이미지의 공동 의미론적 분할 프레임워크. WHU-OPT-SAR 데이터셋을 사용함.

land-cover -> 토지 피복 매핑을 위한 심층 학습 응용 분야에서의 모델 일반화(Model Generalization)

generalizablersc -> 일반화 가능한 토지 이용 장면 분류를 위한 교차 데이터셋 학습(Cross-dataset Learning)

SSLTransformerRS -> 토지 피복 분할 및 분류를 위한 자기 지도 비전 트랜스포머 (Self-supervised Vision Transformers)

LULCMapping-WV3images-CORINE-DLMethods -> 심층 학습 기반 분할 접근 방식과 VHR Worldview-3 이미지를 사용한 토지 이용 및 토지 피복 매핑(Land Use and Land Cover Mapping)

DCSA-Net -> VHR 원격 감지 이미지에서 토지 피복 분류를 위한 동적 컨볼루션 자체 주의 네트워크 (Dynamic Convolution Self-Attention Network)

CHeGCN-CNN_enhanced_Heterogeneous_Graph -> CNN 기반 이종 그래프 컨볼루션 네트워크: 사례 연구(공원 분할)를 통한 토지 피복으로부터의 토지 이용 추론 (CNN-Enhanced Heterogeneous Graph Convolutional Network: Inferring Land Use from Land Cover with a Case Study of Park Segmentation)

TCSVT_2022_DGSSC -> DGSSC: 불균형 하이퍼스펙트럴 이미지를 위한 심층 생성 스펙트럴-공간 분류기 (Deep Generative Spectral-Spatial Classifier for Imbalanced Hyperspectral Imagery)

DeepForest-Wetland-Paper -> Sentinel-1 및 Sentinel-2 데이터 조합을 사용한 습지 매핑을 위한 Deep Forest 분류기, GIScience & Remote Sensing

Wetland_UNet -> Chesapeake Conservancy와 Defenders of Wildlife가 개발한, Sentinel-2 LiDAR 및 지형물(geomorphons) 밴드를 포함하는 원격 감지 데이터 입력을 사용하여 습지를 구분할 수 있는 UNet 모델.