GTMNet: 단일 원격 감지 이미지 디헤이징을 위한 유도 전송 맵이 있는 비전 변환기

Scientific Reports 13권, 기사 번호: 9222(2023) 이 기사 인용

35 액세스

측정항목 세부정보

기존 안개 제거 알고리즘은 안개가 짙은 원격 감지 이미지(RSI)에는 효과적이지 않으며 안개 제거 결과는 과도하게 향상되고 색상 왜곡 및 아티팩트가 발생하기 쉽습니다. 이러한 문제를 해결하기 위해 우리는 좋은 성능을 달성하기 위해 DCP(Dark Channel Prior)와 결합된 CNN(Convolutional Neural Network) 및 ViT(Vision Transformer)를 기반으로 하는 모델 GTMNet을 제안합니다. 구체적으로, SFT(공간 특징 변환) 계층을 먼저 사용하여 가이드 전송 맵(GTM)을 모델에 원활하게 도입하여 네트워크의 헤이즈 두께 추정 기능을 향상시킵니다. 그런 다음 SOS(강화-작동-차감) 강화 모듈을 추가하여 복원된 이미지의 로컬 기능을 개선합니다. GTMNet의 프레임워크는 SOS 부스트 모듈의 입력과 SFT 레이어의 위치를 ​​조정하여 결정됩니다. SateHaze1k 데이터 세트에서 GTMNet을 여러 가지 기존 안개 제거 알고리즘과 비교합니다. 결과는 Moderate Fog 및 Thick Fog의 하위 데이터 세트에서 GTMNet-B의 PSNR 및 SSIM이 매개변수 양의 0.1배에 불과한 최첨단 모델 Dehazeformer-L의 PSNR 및 SSIM과 유사하다는 것을 보여줍니다. 또한, 우리의 방법은 안개 제거된 이미지의 선명도와 세부 사항을 향상시키는 데 직관적으로 효과적이며, 이는 단일 RSI 제거에서 이전 GTM 및 SOS 부스트 모듈을 사용하는 것의 유용성과 중요성을 입증합니다.

원격 탐사 위성 및 무인 항공기(UAV) 센서는 수집된 이미지의 대비와 색상 충실도를 손상시킬 수 있는 대기 현상에 취약하여 이미지 세부 정보가 약화되고 이미지의 정보를 인식하기 어렵게 만듭니다. 연무, 안개 및 연기는 대기 흡수 및 산란에 의해 생성되는 매우 일반적인 대기 현상입니다. 경찰 보안, 농업 및 임업 식물 보호, 전력 ​​순찰 검사, 토지 자원 조사 및 이와 유사한 응용 분야에 원격 감지 기술을 적용하면 원격 감지 이미지에서 안개, 안개 및 연기를 정확하게 제거하는 것이 매우 중요합니다. (RSI) 표적 탐지, 표적 추적 및 UAV 탐지를 위한 것입니다. 단순화를 위해 디헤이징이라는 용어는 안개, 안개 및 연기 제거를 나타내기 위해 균일하게 사용됩니다.

이미지 디헤이징 작업에서 다음 표현은 흐릿한 이미지를 1,2,3으로 설명하는 데 널리 사용됩니다.

여기서 \(I(x)\), \(J(x)\), A 및 t는 각각 흐릿한 이미지, 안개가 없는 이미지, 지구 대기광 및 전송 맵을 나타냅니다. 단일 이미지 디헤이징은 알 수 없는 깊이 정보로 인해 제약이 부족한 어려운 문제입니다. 현재 여러 방향에서 수많은 디헤이징 알고리즘이 제안되었습니다.

초기 사전 기반 접근법이 효과적인 것으로 입증되었습니다. 방정식을 사용하여. (1), \(A\) 및 \(t\)는 선명한 이미지를 복원하기 위해 정확하게 추정되어야 합니다. 가장 대표적인 것 중 하나는 비교적 안정적인 디헤이징 알고리즘인 선명한 이미지와 대기 물리적 모델 간의 매핑 관계를 결정하는 DCP(Dark Channel Prior) 방법4입니다. 그러나 큰 흰색 영역의 디헤이징 효과는 큰 편차를 생성하는 경향이 있습니다. 따라서 몇몇 연구자들은 데이터 기반 딥러닝 접근법5,6을 사용하여 대기 산란 모델의 중간 매개변수를 추정하고 흐릿한 이미지에서 중간 매개변수까지의 매핑 관계를 구축합니다. 이러한 딥러닝 알고리즘은 대기 산란 모델을 기반으로 합니다. 하늘 영역에서는 기존 방법보다 크게 개선되고 시각적으로 더 효과적이지만, 모델이 매우 복잡하고 대기 조명 및 장면 변화의 한계에 취약하여 실시간 성능이 떨어지고 복원된 이미지의 밝기가 어두워지는 문제가 발생합니다. 이러한 문제를 해결하기 위해 여러 알고리즘이 엔드투엔드 방식으로 안개가 없는 잠재 이미지를 직접 예측합니다. Huang et al.7은 안개 제거를 위해 RGB 및 SAR 이미지를 사용하는 조건부 생성 적대 네트워크를 제안했습니다. Mehta et al.8은 항공 이미지에서 안개를 제거하기 위해 특별히 SkyGAN을 개발하여 제한된 안개 초분광 항공 이미지 데이터 세트의 문제를 해결했습니다.