1. 서 론
인공위성 원격탐사(Satellite Remote Sensing)는 지역에 제한 받지 않고 광범위한 지역의 정보를 적은 비용으로 수집할 수 있어 고빈도로의 측정이 가능하다는 점에서 장점이 있다. 전 세계에서 한 해 발사되는 인공위성은 2,000대를 넘으 며, 현재 운영 중인 위성은 7,000여 대를 넘어섰다(UNOOSA, 2023). 이에 따라 위성영상 데이터 세트는 급격한 증가 추세를 이루며 이를 활용하는 연구도 활발히 진행됐다. 자원 관리, 자연환경 모니터링, 건축 및 시설 모니터링, 재난 관리, 국방 등 폭넓은 분야에서 위성영상을 활용해 오고 있으며, 기존에 위성영상을 사용하지 않는 수요까지 확대될 것으로 전망된다(Kim, 2018). 원격탐사를 통해 넓은 지역에 걸쳐 고해상도로 획득된 정보는 토지의 체계적인 활용, 자원 공급의 증대, 환경 변화 및 재난의 감시 및 통제, 지도 제작 등에 요구되는 복잡다단한 정보를 신속하고 정확하게 해석할 수 있게 하며, 이는 최첨단 과학기술로 주목받고 있다.
특히 위성을 통해 수집된 해수면 온도 자료는 현장 관측치만으로는 다루기 힘들었던 해양수환, 엘니뇨, 전선, 태풍 등 거시적 해양 현상을 분석할 수 있도록 도와준다(Park, 2008). 그러나 위성 장치 또는 기상 상황, 그림자 등 영향을 받으면 결측(missing) 지역이 발생하여 활용성을 저해하는 요소가 된다. 따라서 결측된 자료를 복원시켜 고빈도 및 고해상도로 측정되는 위성영상의 장점을 극대화할 방안이 필요 하다. 영상 복원 기법(Image Inpainting)은 디지털 이미지에서 손상 부분을 복구하거나 결측된 부분을 예측하는 기술이다. 초기에는 간단한 보간(Interpolation) 기법을 통해 주변 픽셀의 값을 이용하여 결측 부분을 대체하는 방식이었지만, 복잡한 패턴이나 구조의 복구에는 한계가 있었다. 이를 극복하기 위해 주변 픽셀의 통계 정보를 분석하여 결측 부분을 예측하는 통계 기반 기법과 이미지의 패턴을 추출하여 결측을 채우는 행렬 기법이 확산하였다. 최근 딥러닝의 발전으로 신경망 기반 기법의 사용 빈도가 증가하고 있으며, 특히 생성적 적대 신경망(Generative Adversarial Network, GAN)과 같이 생성자와 판별자라는 두 개의 신경망을 경쟁시켜 실제와 같은 이미지를 생성하는 방법이 널리 사용되고 있으며(Goodfellow et al., 2014), 이미지 복원에 많이 활용된다(Yu et al., 2018). 그러나 딥러닝을 활용한 이미지 복원은, 큰 진전이 이루어져 왔음에도 불구하고, 복원하고자 하는 이미지가 복잡한 지리적 구조를 포함하거나 해상도가 높은 경우, 또는 결측 영역이 큰 경우에 복원의 한계를 보였다(Tahmasebi et al., 2020).
Suvorov et al.(2022)는 이미지 복원의 주요 문제점을 해결 한 Large Mask Inpainting(LaMa) 기법을 제안하였다. LaMa는 영상 인식 장(field)을 통해 영상 전체 영역을 처리할 수 있다. 또한 광범위한 결측을 인위적으로 발생시키고 이를 학습하는 알고리즘을 통해 큰 결측을 가진 이미지의 복원이 가능하다. LaMa 알고리즘을 적용한 연구는 흑백 추상화의 이미지 복원(Cipolina-Kun et al., 2022), 도시 전경 사진의 건축물 그림자 복원(Kim et al., 2022), 항공 촬영을 통한 광학 RGB 영상의 복원(Huang et al., 2023), 선박 레이더(Synthetic Aperture Radar, SAR) 영상의 해수면 불명확(ambiguity) 영역의 복원 (Gao et al., 2022) 등이 있다. 따라서 본 논문에서는 데이터의 규모가 크고 동시에 영상의 지리적 복잡도가 높은 특징을 보이는 표층 수온 위성영상의 복원을 위해 LaMa 알고리즘을 적용하여 그 활용 가능성을 평가하고자 한다.
2. 연구방법
2.1 위성영상 복원에 사용되고 있는 알고리즘
이 연구에서는 이미지 복원에 널리 사용되는 DeepFill v1 (Yu et al., 2018) 모델을 활용하여 LaMa 모델과 비교 평가를 수행하였다. DeepFill v1은 WGAN-GP와 contextual attention을 활용하여 마스크 주변 정보를 이용하여 이미지 복원을 수행 하는 기술이다.
두 모델 모두 Adam optimizer를 사용하였으며, 배치 크기는 16으로 설정하고, 학습률(learning rate)은 0.0001로 설정하였다. 총 100번의 학습 에폭(epoch)을 수행하였다. 또한, 성능 비교를 위해 Bilinear interpolation(쌍 선형 보간법)과 Bicubic interpolation(쌍 삼차 보간법)을 사용한 복원도 수행하였다. Interpolation(보간법)은 이미 알려진 두 지점의 데이터를 활용 하여 그사이에 누락된 데이터를 추정하는 기술이다. Bilinear interpolation은 두 지점 사이의 값을 직선거리에 따라 선형적으로 추정하는 선형 보간법을 2차원으로 확장한 기술이며, Bicubic interpolation은 3차 함수를 사용하여 두 지점 사이의 값을 추정하는 3차 보간법을 2차원으로 확장한 기술이다.
2.2 딥러닝 알고리즘 구조
LaMa 모델의 전체적인 구성을 Fig. 1과 Fig. 2에 나타내었다. 마스크를 이용하여 학습 데이터를 고의로 손상시킨 후 모델을 이용하여 손상된 영역을 복원하는 과정으로 학습이 진행된다. LaMa 모델은 Downscale, 수정된 ResNet, Upscale 과정을 통해 이미지 복원을 수행한다. 수정된 ResNet 구조는 기존 ResNet(He et al., 2016) 구조의 컨볼루션 레이어를 Fast Fourier Convolution(FFC)으로 교체한 구조이다. FFC는 기존의 컨볼루션 레이어를 통과하여 공간 정보를 추출하는 Local branch와 Fast Fourier Transform(FFT)을 통과하여 이미지의 주파수 정보를 추출하는 Global branch로 구성되어 있다(Chi et al., 2020).
손실함수는 정답 데이터와 인공지능 모델이 예측한 데이터를 비교하기 위한 함수이다. 인공지능 모델은 이 손실함수가 점점 작아지도록 훈련된다. LaMa 모델 훈련을 위한 손실 함수는 총 4가지로 구성되어 있다. 우선, Perceptual loss를 사 용한다(Johnson et al., 2016). Perceptual loss는 Pre-trained VGG 네트워크를 통해 예측된 이미지의 특징 맵과 정답 이미지의 특징 맵을 비교하여 평가하는 방법이다. Suvorov et al.(2022)는 이미지의 전체적인 구조를 파악하기 위해 Pre-trained Dilated ResNet50을 이용하여 Perceptual loss를 사용하였다. Perceptual loss 식은 다음과 같다.
두 번째로, Adversarial loss를 사용한다. 이미지를 패치(patch) 단위로 나누어 판별자가 판별할 수 있도록 하는 PatchGAN을 사용한다(Isola et al., 2017). 이 방법을 통해 더 자연스러운 결과를 얻을 수 있다. Adversarial loss 식은 다음과 같다.
마지막으로, Gradient penalty(R1)(Mescheder et al., 2018;Ross and Doshi-Velez, 2018;Drucker and Le Cun, 1992)와 판별자 기반의 perceptual loss(LDis PL)(Wang et al., 2018)를 사용한다. 이 때, 판별자 기반의 Perceptaul loss는 학습을 안정화하는 역할을 수행한다. 위 4가지를 가중합 하여 최종 손실함수를 구성 하였다. 최종 손실함수 식은 다음과 같다.
다양한 크기와 모양의 마스크는 모델이 다양한 환경에서 데이터를 학습할 수 있도록 한다. 이는 실제 데이터에서 누락된 부분을 복원하는 능력을 향상시키는데 큰 역할을 수행 하므로 마스크 생성은 매우 중요한 과정이다. 본 연구에 적용된 마스크 생성 방법은 Irregular mask와 Rectangle mask를 사용하였으며, Irregular mask는 무작위로 설정된 직선의 위치 와 두께를 활용하여 마스크를 생성하는 방법이며, 이 방법은 불규칙한 모양의 마스크를 생성하여 모델에 다양한 데이터를 제공한다. Rectangle mask는 무작위로 설정된 사각형의 위치와 크기를 활용하여 마스크를 생성하는 방법이며, 이 방법은 사각형 모양의 마스크를 생성하여 모델에 다양한 데이터를 제공한다. 두 방법 모두 한 개의 데이터에 최대 10개의 마스크를 생성하였으며, 마스크의 크기는 이미지의 50% 이상이 되지 않도록 설정하였다. Fig. 3과 Fig. 4는 Irregular mask 와 Rectangle mask 생성 예시 결과이다.
3. 실험데이터
3.1 실험데이터
이 연구에서는 고해상도 해수면 온도 자료인 "Operational Sea Surface Temperature and Sea Ice Analysis (OSTIA)"을 실험에 사용하였다. OSTIA는 해상 해수면 온도 데이터를 고해상도 5km(약 0.05°)의 그리드로 제공하는 위성 자료로, 전구 데이터를 제공한다. 연구의 시간 범위로는 2006년 4월 1일부터 2022년 5월 3일까지의 데이터를 활용하였다.
그러나 OSTIA 데이터의 전체 영역을 훈련에 활용하는 것은 불가능하여, 연구 영역을 한반도와 주변 지역으로 설정 하였다. 모델 학습 시 오차를 낮추기 위해 대륙 부분의 공백 값은 보간법(Interpolation)을 사용하여 처리하였으며 이를 훈 련 데이터로 활용하였다. 또한, 모델 알고리즘에 통과시키기 위해 해수면 온도 값을 0에서 255 사이의 값으로 정규화하고, 이미지로 변환하여 224 × 224 크기의 데이터로 전처리하였다. 전체 데이터는 7:3 비율로 나누어 학습 데이터와 테스트 데이터로 나누어 사용하였다.
4. 연구 결과
4.1 모델 성능 평가 지수
성능 비교를 위해 0~10%, 10~20%, 20~30%, 30~40%, 40~50%까지 비율별 마스크를 각각 4장씩 생성하여 테스트 데이터에 적용하였다. Fig. 5부터 Fig. 9는 생성한 비율별 마스크이다. 성능 평가를 위해 결정계수(R²)와 평균 절대 오차 (Mean Absolute Error)를 활용하였다. 결정계수(R²)는 모델의 성능을 수치상으로 나타내는 중요한 지표로, 이를 기준으로 모델의 성능을 판단하였다. 결정계수 값이 0.8 이상이면 "Very Good," 0.7~0.8은 "Good," 0.5~0.7은 "Satisfactory," 0.5 미 만은 "Not Satisfactory"로 평가하였으며, 이러한 평가 척도는 Moriasi et al.(2015)에 따라 결정되었다. 또한, 성능 평가를 위해 평균 절대 오차(Mean Absolute Error)도 사용하였다. 평균 절대 오차는 값이 작을수록 실제 값과의 오차가 작다는 것 을 의미하며, 이는 모델의 성능이 좋다는 것을 나타낸다.
결정계수와 평균 절대 오차는 다음과 같은 공식을 이용하여 계산되었다.
여기서, yᵢ는 실제 관측값, ȳ는 예측값, Σ는 합계, n은 데이터를 나타낸다.
4.2 영상 복원 기법에 따른 성능 비교
Fig. 10 및 Fig. 11과 Table 1은 LaMa 모델과 DeepFill v1 모델의 성능 비교 결과를 나타내는 자료이다. 이 자료를 통해 LaMa 모델이 DeepFill v1 모델보다 더 우수한 성능을 보이고 있음을 확인할 수 있다. 특히 결정계수가 모든 경우에서 0.9 이상으로 나타나 매우 우수한 성능을 보이고 있다. DeepFill v1 모델의 경우 데이터 손실률이 증가함에 따라 성능이 떨어지는 경향을 보인다. 특히 데이터 손실률이 20~30% 이상인 경우에는 성능이 급격하게 저하되고 있음을 확인할 수 있다. 이뿐만 아니라, Bilinear interpolation과 Bicubic interpolation을 사용하여 복원한 결과에서는 외곽 부분에 마스크가 있는 경우 완전한 복원을 수행하지 못하는 문제점이 나타났다. Fig. 12는 이러한 성능 차이를 시각적으로 확인하기 위한 복원 예시 결과를 비교한 그림이다. 이를 통해 LaMa 모델이 다양한 상황에서 더 나은 복원 결과를 제공하는 것을 시각적으로 확인할 수 있다.
5. 결론 및 향후 연구 방향
이 논문은 LaMa 모델을 활용하여 누락된 수온 데이터의 복원 연구를 수행하였으며, 이 과정에서 DeepFill v1, Bilinear interpolation, Bicubic interpolation과의 결과 및 성능을 비교 분석하였다. 연구 데이터로는 2006년 4월 1일부터 2022년 5월 3일까지의 OSTIA daily 표층 수온 자료 5,879개를 활용하였으며, 연구 영역은 한반도 주변을 포함하는 지역으로 설정하였다.
LaMa 모델은 Fast Fourier convolution을 활용한 ResNet 구조를 이용하여 데이터 복원을 수행하고, DeepFill v1 모델은 WGAN-GP와 Contextual attention 구조를 활용하여 복원을 수 행한다. 누락된 데이터를 예측하기 위한 Interpolation(보간법) 은 이미 알려진 두 지점의 데이터를 활용하여 그사이에 누락된 데이터를 추정하는 방법이다.
연구 결과, LaMa 모델이 가장 우수한 성능을 보였으며, 결정계수(R²)의 점수가 0.9 이상으로 우수한 결과를 나타냈다. 반면에 DeepFill v1 모델의 경우 데이터 손실률이 20~30% 이상인 경우 성능이 급격하게 저하되는 경향을 보였으며, Interpolation 기법의 경우 마스크가 외곽에 위치할 때 복원을 완전히 수행하지 못하는 문제점이 관찰되었다.
향후 연구 방향으로는 인공지능 복원 모델을 활용하여 GOCI-II L2(국립해양조사원 위성센터) 산출물의 복원 가능성을 검토할 계획이다.