Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1229-3431(Print)
ISSN : 2287-3341(Online)
Journal of the Korean Society of Marine Environment and Safety Vol.28 No.7 pp.1120-1128
DOI : https://doi.org/10.7837/kosomes.2022.28.7.1120

Hyperspectral Image Analysis Technology Based on Machine Learning for Marine Object Detection

Sangwoo Oh*, Dongmin Seo**
*Principal researcher, Ocean and Maritime Digital Technology Research Division, KRISO, Daejeon 34103, Korea
**Researcher, Ocean and Maritime Digital Technology Research Division, KRISO, Daejeon 34103, Korea

* First Author : swoh@kriso.re.kr, 042-866-3615


Corresponding Author : dseo@kriso.re.kr, 042-866-3886
November 14, 2022 December 5, 2022 December 28, 2022

Abstract


In the event of a marine accident, the longer the exposure time to the sea increases, the faster the chance of survival decreases. However, because the search area of the sea is extremely wide compared to that of land, marine object detection technology based on the sensor mounted on a satellite or an aircraft must be applied rather than ship for an efficient search. The purpose of this study was to rapidly detect an object in the ocean using a hyperspectral image sensor mounted on an aircraft. The image captured by this sensor has a spatial resolution of 8,241 × 1,024, and is a large-capacity data comprising 127 spectra and a resolution of 0.7 m per pixel. In this study, a marine object detection model was developed that combines a seawater identification algorithm using DBSCAN and a density-based land removal algorithm to rapidly analyze large data. When the developed detection model was applied to the hyperspectral image, the performance of analyzing a sea area of about 5 km2 within 100 s was confirmed. In addition, to evaluate the detection accuracy of the developed model, hyperspectral images of the Mokpo, Gunsan, and Yeosu regions were taken using an aircraft. As a result, ships in the experimental image could be detected with an accuracy of 90 %. The technology developed in this study is expected to be utilized as important information to support the search and rescue activities of small ships and human life.



해상 객체 탐지를 위한 머신러닝 기반의 초분광 영상 분석 기술

오 상우*, 서 동민**
*선박해양플랜트연구소 해양공공디지털연구본부 책임연구원
**선박해양플랜트연구소 해양공공디지털연구본부 연구원

초록


해양사고 발생시 실종자는 해양에 노출된 시간이 길어질수록 생존확률이 빠르게 감소하기 때문에 인명구조를 위해서는 신 속한 수색이 필요하다. 또한 해양의 수색영역은 육상에 비해서 매우 넓기 때문에 효율적인 수색을 위해서는 선박을 이용한 육안수색보 다는 인공위성이나 항공기에 탑재된 센서를 이용한 해상 객체 탐지 기술의 적용이 필요하다. 본 연구는 항공기에 탑재된 초분광 영상 센서를 이용하여 해양에서 객체를 신속하게 탐지하기 위한 목적으로 진행되었다. 초분광 영상 센서로 촬영된 영상은 8,241 × 1,024의 공간 해상도를 가지며, 한 화소당 0.7 m의 분해능과 127개의 스펙트럼으로 구성된 대용량의 데이터이다. 본 연구에서는 이러한 데이터 를 신속하게 분석하기 위한 목적으로 DBSCAN을 사용한 해수 식별 알고리즘과 밀도 기반의 육지 제거 알고리즘을 결합한 해상 객체 탐지 모델을 개발하였다. 개발한 모델은 초분광 영상에 적용하였을 때 약 5 km2의 해상 영역을 100초 내로 분석할 수 있는 성능을 보 였다. 또한 개발한 모델의 탐지 정확도를 평가하기 위해서 항공기를 이용하여 목포, 군산, 여수 지역의 초분광 영상을 촬영하였으며, 본 연구에서 개발한 탐지 모델에 적용한 결과, 실험 영상 내의 선박들을 90 %의 정확도로 탐지할 수 있는 결과를 얻었다. 본 연구에서 개발된 기술은 소형 선박의 수색·구조 활동을 지원하는 중요한 정보로 활용될 수 있을 것으로 기대한다.



    1. 서 론

    우리나라는 최근 5년간 총 14,100건의 해양사고가 발생하 였고, 총 533명이 사망 또는 실종되는 인명피해가 발생하였 다(KMST, 2022). 이 중 295명은 10톤 미만 선박에서 발생한 사고로 총 인명피해의 절반 이상을 차지한다. 국제항공 및 해상수색 구조편람(Internationa Aeronautical and Maritime Search and Rescue Manual, IAMSAR)에서는 익수자는 5 ℃의 수온에서 약 1시간, 15 ℃의 수온에서 약 6시간 생존이 가능 하다고 제시하였으며, 각각 6시간, 18시간으로 추천 수색시 간을 설정하였다. 그러므로 해양사고에서 사고지점을 신속 하게 파악하여 물적/인적 재산 손실을 최소화하기 위해서는 광범위한 해상에서 신속하고 효율적으로 해상객체를 탐지 하는 기술이 요구된다.

    해양사고가 발생하면 해양경찰청에서는 수상구조법 에 따라 자체 보유한 경비함 등을 이용해 인명과 선박에 대 한 수색·구조·구난을 진행한다(An et al., 2020). 해양 수색시 해양의 광범위한 지역적 특징으로 인해 위성이나 항공기 등 을 이용하여 해양 수색 임무를 지원하고 있으므로, 수색효 율을 높이기 위한 목적으로 해당 플랫폼을 활용한 연구가 지속적으로 진행되고 있다. 위성을 이용한 연구로는 위성 탑재 센서로 촬영된 영상 데이터의 프레임을 분석하여 선박 의 이동경로를 추적하거나 획득된 이미지를 분석하여 선박 의 위치를 탐지하는 연구가 수행되고 있다(Kanjir et al., 2018;Li et al., 2019;Yu et al., 2021). 위성을 이용한 탐지 기술은 광 범위한 영역에 대한 영상 데이터를 확보할 수 있으나 낮은 공간 분해능으로 인해 소형 선박을 탐지하고 분석하는데 적 합하지 않으며, 원하는 영역과 시간에 대한 영상 데이터를 확보하기 쉽지 않다. 반면 항공 플랫폼의 경우, 사고 발생 지점에 신속히 접근하여 실시간으로 위성영상 대비 높은 해 상도의 영상 데이터를 취득하고 분석할 수 있으므로 해양 사고 대응 측면에서는 항공기 탑재 센서를 이용한 해상 객 체 탐지 기술이 더욱 적합한 방법이라고 할 수 있다.

    항공기를 활용한 해상 객체 탐지 연구는 항공기에 탑재된 센서의 종류로 구분될 수 있으며, 합성 개구 레이더(Synthetic Aperture Radar, SAR), 고해상도 광학카메라, 초분광 센서 (Hyperspectral sensor) 등이 대표적인 탑재 센서이다(Veebstra et al., 2012;Sletten et al., 2016;Angelliaume et al., 2017;Jansen et al., 2018;Yan et al., 2019;Park et al., 2020;Zhu et al., 2021). SAR는 구름, 비, 안개 등의 악천후 기상과 야간과 같은 저조 도의 환경에서도 탐지를 수행할 수 있다. 다만, 획득된 영상 의 분해능이 광학 센서에 비해서 매우 낮아 소형의 객체를 탐지하는데 한계가 있다. 고해상도 광학카메라는 육안으로 탐지하지 못하는 소형의 객체를 탐지할 수 있도록 매우 높 은 분해능을 가지고 있다. 하지만 카메라를 사용한 영상 분 석 기술은 일정 크기 이상의 형태를 구성할 때 객체로 인식 할 수 있기 때문에 소수의 화소(pixel)만으로 해상의 객체를 탐지하는 경우 제한이 있다. 반면 초분광 센서의 경우, 소형 의 객체를 탐지할 수 있는 분해능을 가지면서도 모든 화소 들이 수 nm 파장 간격으로 수 십에서 수 백개의 스펙트럼 정보를 동시에 취득한다. 이러한 단일 화소에 포함된 스펙 트럼 정보는 색 또는 형태에 국한되어 연구되는 형태학적 영상 분석 기술의 단점을 개선할 수 있다. 특히, 화소의 스 펙트럼 차이를 이용하여 단일 화소를 객체화 할 수 있으며, 스펙트럼 형태를 분석하여 각각의 화소에 해당하는 객체 고 유의 특징을 파악할 수 있다.

    본 연구에서는 광범위한 해상 영역에서 해상에 위치한 객 체를 신속하고 효율적으로 분석하기 위한 해상 객체 탐지 모델을 제안하고, 초분광 센서가 탑재된 항공기를 이용하여 획득한 실해역 영상에 탐지 모델을 적용하여 성능을 입증하 였다. 탐지 모델은 머신러닝 알고리즘의 군집화 기법을 사 용한 해수 식별 알고리즘과 밀도 기반의 육지 제거 알고리 즘으로 구성되어 있다. 해당 모델은 대용량의 초분광 영상 을 신속하게 분석하는 것에 목표를 두었다. 실해역 항공 영 상은 군산, 목포, 여수 지역에서 촬영된 영상을 사용하였으 며, 탐지 모델의 설정 값을 각 영상에 동일하게 적용하여 지 역과 환경의 영향을 크게 받지 않는 성능을 보일 수 있도록 실험 결과를 분석하였다. 해당 모델의 성능은 선박으로 분 류된 정답지와 비교를 통해 탐지 정확도를 산출하였다.

    2. 재료 및 방법

    2.1 초분광 영상 수집

    초분광 영상은 목포, 군산, 여수 3곳에서 항공기를 이용하 여 획득하였다. Fig. 1은 실해역 촬영 지역에 대한 비행노선 설계안을 나타낸다. 군산해역(Fig. 1a)은 비응항과 군산내항 인근을 2021년도 5월에 촬영하였다. 목포해역(Fig. 1b)은 목 포북항과 목포외항 인근을 2020년도 9월에 촬영하였다. 또 한, 여수해역(Fig. 1c)은 2011년도 11월에 국동항 인근을 촬영 하였다. 항공 촬영은 잔디깍이 경로(Lawn-mower pattern)로 촬 영하였으며 영상 사이에 일부 중첩 구간을 두어 목표한 촬 영 영역이 배제되지 않도록 설계하였다. 초분광 영상 촬영 은 중형 단발 엔진 항공기(Cessna Grand Caravan 208B)를 이용 하여 1 km 상공에서 140 knots 이하의 순항 속도를 유지하며 안정적인 저고도 촬영을 수행하였다. 항공기 내부에는 400 nm 에서 990 nm 범위를 127개 파장으로 스캔할 수 있는 초분광 센서(AisaFENIX sensor, Specim, Finland)가 탑재되어 있다. 해 당 초분광 센서는 1 km 촬영 고도에서 0.7 m 분해능을 가진다.

    2.2 군집화 기반의 분석 알고리즘

    군집화(clustering) 분석 방법은 레이블(label)이 지정되지 않 은 데이터를 분석하는데 적합한 머신러닝 기법이다. 군집화 모델은 분석하고자 하는 데이터의 종류와 형태에 따라 서로 다른 특징을 보인다. Scikit-learn(https://sciki-learn.org)에서 제공 하는 군집화 알고리즘은 KMeans, Affinity propagation, Mean-shift 등 10개에 달한다. 광범위한 영역에서 해상 객체를 신속하고 정확하게 탐지하기 위해서는 군집화 모델의 분석 시간이 중 요한 요소로 작용된다. 비정형 데이터를 군집화 하는 군집 화 알고리즘들의 분석 성능은 Table 1과 같으며 KMeans, DBSCAN, Gaussian Mixture가 0.01초로 가장 성능이 뛰어나다.

    KMeans는 기하학적으로 점(point) 사이의 거리를 분석하여 군집의 수(number of clusters, K)에 따른 데이터의 중심을 찾 는 군집화 기법이다. KMeans는 군집의 크기가 비슷한 데이 터를 적당한 수의 군집으로 구분하는데 용이하다. 본 연구 에서 사용되는 해상 데이터는 해수 영역과 해상 객체의 점 유율이 비대칭이며, 같은 촬영 조건에서도 객체의 인스턴스 구성에 따라 K 값이 변경되어야 하므로, KMeans의 사용이 적합하지 않다.

    Gaussian mixtures는 기하학적으로 마할라노비스 거리 (mahalanobis distance)에 기반하며, KMeans 알고리즘을 일반화 하기 위해 사용된다. 그렇기에 KMeans의 분석 결과에 비해 군집 결과가 뛰어나긴 하나, N개의 설정된 컴포넌트에 기반 하여 알고리즘이 작동되므로, 해상 객체 주변에 심한 잡음 이 형성되며 해수 인스턴스를 명확하게 단일 군집화하기 어 렵다.

    DBSCAN은 기하학적으로 가장 가까운 점들 사이의 거리 를 분석하고, 지정된 수의 인접한 점을 군집으로 인식하는 군집화 기법이다. 이 기법은 점유율이 비대칭인 데이터를 분석하는데 용이하며 군집의 수에 대한 설정이 필요치 않 다. 이러한 특징은 해수 영역과 해상 객체의 점유율이 비대 칭 조건인 해상 초분광 데이터 분석에 적합하다고 판단되어 본 연구에 사용하였다.

    2.3 DBSCAN 알고리즘

    본 연구에서는 대부분의 점유율이 해수 인스턴스인 해상 초분광 영상에서 해상에 있는 매우 낮은 점유율의 해상 객 체를 탐지하기 위해 군집화 알고리즘인 DBSCAN을 사용하 였다. 해상 객체가 포함된 일정한 영역을 해당 알고리즘으 로 분석하면, 해수 군집과 군집되지 못한 잡음(noise)으로 구 분된다. 이때, 해수 군집을 영상에서 제거하면 해상 객체를 탐지할 수 있다. 해수 식별을 통해 해수 군집을 형성할 수 있는 이유는 초분광 데이터의 성질에 기인한다. 초분광 데 이터는 수 nm의 세분화된 파장으로 데이터를 취득할 수 있 으므로, 영상의 화소마다 고유의 스펙트럼을 가지게 된다. 이런 스펙트럼의 특성으로 인해 해상 객체가 해수와 동일 한 RGB 색상으로 보인다 하여도 데이터가 가지는 유클리드 거리가 해수와 다르기 때문에 군집형성에 영향을 미치지 않는다.

    2.4 DBSCAN 기반의 해수 식별 모델

    본 연구에서는 선행 연구에서 개발한 DBSCAN 기반 해수 식별 알고리즘(Seo et al., 2022)을 확장하여 8,241 × 1,024 해 상도의 가공되지 않은 초분광 영상에서 신속하게 해상 객체 를 탐지하기 위한 해수 식별 모델을 개발하였다. DBSCAN의 입실론(epsilon, EPS) 값은 0.025를 사용했으며, 선행 연구에서 사용한 파라미터 설정 값을 그대로 반영하였다.

    Fig. 2는 초분광 영상에서 해수를 제거하는 과정을 도식화 한 그림이다. 해수를 제거하기 위해서는 먼저 초분광 영상 을 일정한 격자 크기(grid size)로 분할한다. 각 분할된 영역 은 DBSCAN 모델을 통해 병렬적으로 학습되며, 가장 다수의 인스턴스를 포함하는 군집을 해수로 정의한다.

    해수로 정의된 군집을 제외한 잡음을 표출하여 분할 영역 에 대한 분석 결과로 저장한다. 모든 분할 영역에 대해 분석 작업이 병렬적으로 완료되면 각 결과를 병합하는 알고리즘 을 통해 초분광 영상에서 해수가 제거된 결과가 생성된다.

    해수 식별 모델의 분석 소요 시간은 격자의 크기 설정에 따라 영향을 받는다. 격자 크기의 설정 값이 큰 경우, 분할 영역의 인스턴스 수가 증가함에 따라 Fig. 3과 같이 학습에 소요되는 시간이 지수함수 형태로 증가한다. 분할 영상에 20,000개의 인스턴스가 포함되어 있을 때는 3초의 분석시간 이 소모되나, 80,000개의 인스턴스가 포함되어 있을 때는 65 초의 분석시간이 소모된다(Intel(R) Xeon(R) Gold 6248R CPU, 512GB memory). 반면, 격자 크기의 설정 값이 작은 경우에는 영역 분할 및 병합 과정에서 발생하는 병목현상으로 인해 영상을 분석하고 처리하는데 소요되는 시간이 증가한다.

    Table 2는 격자의 크기에 따른 알고리즘 수행 시간을 나타 낸다. 수행 시간을 비교하기 위해서 3개의 서로 다른 조건의 초분광 영상을 사용하였으며, 분석 시스템의 성능은 동일하 게 설정하였다.

    본 연구에서는 상기 결과를 바탕으로 격자 크기를 15로 설정하였다. 하지만, 격자 크기에 따른 알고리즘 수행 시간 은 3개의 초분광 영상으로 도출한 결과이므로, 초분광 영상 의 크기, 인스턴스 분포, 시스템 성능 등에 따라서 격자 크 기의 설정은 달라질 수 있다.

    2.5 밀도 기반의 육지 제거 모델

    내해나 원해에서의 해상 객체 탐지는 해수 식별 모델만을 사용하여도 분석이 가능하다. 하지만, 연안에서 해상 객체를 탐지하거나 또는 학습에 필요한 다량의 데이터를 확보하기 위해서는 부득이하게 육지가 포함된 초분광 영상의 획득이 불가피하다. 육지의 경우 스펙트럼의 특성이 해양에 비해 다양하기 때문에, 해수 식별 모델 사용 시 대부분의 영역이 군집화 되지 못한다. 그렇기에 대부분의 육지 영역은 해상 객체와 함께 탐지된다. 육지 영역은 촬영 영상의 위치를 확 인하기 위해 활용될 수 있으나, 해상 객체를 신속하게 탐지 하는데 있어서는 잡음 요소로 작용한다. 그러므로 연안의 해상 초분광 영상에서 해상 객체만을 선택적으로 분석하기 위하여 초분광 영상에서 육지 영역을 제거하기 위한 알고리 즘을 개발하였다.

    Fig. 4는 육지 제거 모델의 절차를 나타낸 것이다. 육지 제 거 모델은 해수 식별 모델을 통해 해수를 제거한 결과를 대 상으로 작업을 수행한다. 육지 제거는 탐지 영역(rectangular area)과 영역 내 객체 비율(ratio)을 변수로 사용한다. 육지 영 역을 제거하기 위해서는 먼저, 해수 식별을 통해 도출된 탐 지 좌표를 확보한다. 탐지 좌표를 기준으로 사각형의 탐지 영역을 생성하고, 탐지 영역 내 객체 비율을 계산한다. 탐지 영역 내의 객체 비율이 설정된 객체 비율보다 높으면 육지 로 태깅(tagging)하며, 설정된 객체 비율보다 낮으면 탐지 좌 표를 변경하고 동일한 과정을 반복한다.

    전체 영역에 대한 분석이 완료되면 태깅된 육지 객체를 제거하게 되며, 이를 통해 육지가 제거된 해상 객체 영상을 획득할 수 있다.

    3. 결 과

    3.1 해수 식별 및 육지 제거 결과

    아래는 목포(Fig. 5), 군산(Fig. 6), 여수(Fig. 7)에서 획득한 초분광 데이터에서 해수를 식별하고 육지를 제거한 결과를 보여준다. Fig. 5는 목포에서 획득한 초분광 데이터를 본 연 구에서 개발한 모델에 적용한 결과를 보여준다. Fig. 5a는 초 분광 카메라에서 획득한 데이터를 RGB로 표출하여 구성한 영상이며, Fig 5b는 해수 식별 모델을 거친 영상이고, Fig 5c 는 육지 제거 모델을 거친 영상이다. Fig. 6은 군산에서 획득 한 초분광 데이터를 개발한 모델에 적용한 결과이다. Fig. 5 의 구성과 마찬가지로 Fig. 5a는 초분광 RGB 영상, Fig. 5b는 해수 식별 후 영상, Fig. 5c는 육지 제거 후 영상이다. Fig. 7 은 여수에서 획득한 초분광 데이터의 분석 결과이다. Fig. 5 의 구성과 마찬가지로 Fig. 7a는 초분광 RGB 영상, Fig. 7b는 해수 식별 후 영상, Fig. 7c는 육지 제거 후 영상이다.

    초분광 RBG 영상인 (a) 에서 해수 식별 모듈을 적용한 (b) 영상을 보면, 해상 객체와 육지를 제외한 해수 영역이 제거된 것을 볼 수 있으며, 추가적으로 내륙의 양식장 및 식생 분포 가 비슷한 산과 논의 영상이 제거된 것을 확인할 수 있다. 또 한, 육지와 연결된 방파제를 보면, 형태를 온전히 유지하면서 해수가 제거된 결과를 확인할 수 있다. (b) 영상을 통해 육지 의 형태와 위치를 통해 위경도 값이 제시되지 않더라도 분석 된 실제 지역을 명확히 단정할 수 있다. 하지만, 영상에서 육 지의 존재는 해상 객체를 탐지하는데 있어 방해요소로 작용 되므로 이를 제거할 필요가 있다. 해수를 식별한 (b) 영상에 서 육지 제거 모듈을 적용한 (c) 영상을 보면, 영상만으로는 실제 지역을 단정할 순 없지만, 영상에서 해상 객체를 탐지하 기 위해 사용하는 영상으로써는 적합한 형태임을 확인할 수 있다. 특히 군산과 여수처럼 많은 부분 육지가 차지하는 영상 에서는 제거 모듈의 결과가 뚜렷하게 보이며, 복잡한 내륙의 스펙트럼 데이터를 제외하고 해상의 객체를 선택적으로 탐지 할 수 있음을 모델 적용 결과로 검증하였다.

    3.2 해상 객체 탐지 소요 시간

    해상 객체 탐지 기술을 수색·구조 활동에 활용하기 위해 서는 광범위한 영역의 데이터를 신속하게 분석할 필요가 있 다. 특히, 초분광 영상은 대용량 데이터이므로 해상 객체를 탐지하는데 소요되는 시간은 골든타임과 연관되는 매우 중 요한 요소 기술이다.

    Table 3에서는 초분광 영상에서 객체가 탐지되는 시간을 보여주며 이를 통해 해상 객체 탐지 모델의 성능을 확인할 수 있다. 분석에 사용된 서버에는 Intel(R) Xeon(R) Gold 6248R CPU와 512GB 메모리가 장착되어 있으며, 각 영상은 동일한 하드웨어 성능 하에서 수행 시간이 측정되었다.

    3개의 지역에서 획득된 초분광 영상을 분석하는데 있어, 해수 식별에 평균 77.33초, 육지 제거에 평균 23.33초가 소모 되어, 초분광 영상에서 객체를 탐지하기 위해서는 대략 100 초의 시간이 소모됨을 알 수 있다. Fig. 3에서 언급한 바와 같이 DBSCAN으로 80,000개의 인스턴스 분석에 소요되는 시 간이 65초인데 반해, 제안하는 모델은 8,241 × 1,024 크기의 영역에 대해 약 77초의 시간이 소모되었기에 넓은 영역을 신속히 분석할 수 있는 모델임을 알 수 있다. 물론 데이터의 업로드, 분석 결과 도출 등 추가로 소요되는 시간을 고려하 여도 해당 기술을 적용한다면 10분 이내에 약 5 km2에 달하 는 광범위한 면적의 해상 탐지가 가능할 것으로 판단된다.

    3.3 해상 객체 탐지 정확도

    본 연구에서는 목포, 군산, 여수 지역에서 획득한 초분광 영상을 사용하여 해상 객체 탐지 모델의 정확도를 검증하였 다. 초분광 분석 결과에서 해상 객체는 어망, 부표, 바지선 등 다양하지만, 해상 객체에 대한 세분화된 분류 체계가 확 립되지 않았기 때문에, 육안 식별이 가능한 선박에 한정하 여 탐지 결과를 도출하였다. 선박의 판별은 초분광 센서와 함께 탑재되어 있는 항공 촬영용 고해상도 디지털 맵핑 카 메라(Intergraph`s Z/I Imaging, Aalen, Germany) 영상을 참고하 였다. 고해상도 카메라는 초분광 센서와 나란히 부착되어 동일한 영역을 촬영한다. 정답지는 초분광 영상에 존재하는 해상 선박을 고해상도 카메라 이미지와 비교하여 제작하였 으며, 해상 객체 탐지 모델의 선박 탐지 결과와 비교하여 탐 지 모델의 성능을 제시하였다. 탐지된 해상 객체는 영상에 서 빨간색 화소로 표시된다. 빨간색 화소의 위치와 정답지 를 비교하여 탐지 선박에 대해서는 노란색 박스로, 미탐지 선박에 대해서는 빨간색 박스로 표시하였다.

    Fig. 8은 목포에서 촬영된 영상에서 해상객체를 탐지한 결 과를 나타낸다. 노란색 박스는 탐지된 선박을 나타내며, 빨 간색 박스는 미탐지된 선박을 나타낸다. Fig. 8a에는 총 11척 의 선박 중 1척을 제외한 10척이 탐지되었다. Fig. 8b에서는 총 17척의 선박 중 1척을 제외한 16척이 탐지되었으며, Fig. 8c에서는 10척의 선박 중 1척을 제외한 9척의 선박이 탐지되 었다. Fig. 8a에서 미탐지된 선박은 Fig. 5b의 해수 식별 결과 에서는 탐지되었으나 Fig. 5c의 육지 제거 결과에서 누락되 었으므로 육지와의 거리로 인해 미탐지 되었다고 판단된다. 또한, Fig. 8b와 Fig. 8c에서 미탐지된 선박도 해수 식별 결과 에서 탐지되었으나, 육지 제거 과정에서 누락되었다.

    Fig. 9는 군산에서 촬영된 영상에서 해상객체를 탐지한 결 과를 나타낸다. 해당 영상에서는 총 5척의 선박 중 5척 모두 탐지하였다.

    Fig. 6b에서 볼 수 있듯이 해수 식별 후 탐지된 다수의 바 지선과 대형 양식장이 육지 제거 후 미탐지된 결과를 확인 할 수 있다. 또한, Fig. 9b 영상의 가운에 위치한 소형 섬이 육지제거를 통해 제거된 것을 확인 할 수 있다.

    Fig. 10은 여수에서 촬영된 영상에서 해상객체를 탐지한 결과를 나타낸다. 해당 영상에는 총 7척의 선박이 있으며 Fig. 10a에서는 4척 모두 탐지되었고 Fig. 10b에서는 3척 중 1 척만이 탐지되었다. 해당 영상에서 탐지되지 않은 선박은 이동하고 있는 선박이며 이동에 따라 선미파가 크게 발생된 것을 확인할 수 있다. Fig. 7b에서 볼 수 있듯이, 해수 식별 모델에서 선미파는 해수로 식별되지 않는다. 선미파가 포함 된 선박은 육지 제거 알고리즘으로 분석시 탐지 영역내의 객체 비율이 매우 높게 인식되어 해상 객체 탐지 결과에서 배제된다.

    Table 4는 제안한 해상 객체 탐지 모델의 정확도를 나타 낸다. 목포해역의 실험영상에서는 총 7척 중 5척을 탐지하였 고 2척을 탐지하지 못하여, 그 결과 총 71.43 %의 탐지 정확 도가 산출되었다. 군산해역의 실험영상의 경우, 총 38척의 선박 중 35척을 탐지하였고 3척을 탐지하지 못하여 92.11 % 의 탐지 정확도를 나타내었다. 여수해역의 실험영상에서는 총 5척의 선박 중 5척 모두 탐지하여 100 % 정확도를 달성하 였다. 이와 같이 본 연구에서는 3개의 지역에서 촬영된 실험 영상에서 총 50척의 선박 중 45척을 탐지하였고 5척을 탐지 하지 못하여 최종적으로 제안한 탐지모델의 정확도는 90 % 로 나타남을 확인할 수 있었다.

    4. 결 론

    본 연구에서는 해양 사고 발생시 수색·구조 활동에 신속 한 정보를 제공해 주기 위한 연구의 일환으로 대용량의 초 분광 데이터를 분석하는 머신러닝 기반의 분석 모델을 개발 하여 해상 객체를 탐지하는 기술을 개발하였다. 선행 연구 인 DBSCAN 기반의 해수 식별 알고리즘을 확장하여 5 km2 영역의 대용량 초분광 영상을 약 77초 만에 분석하고, 해수 가 식별된 영상에서 약 23초 만에 육지를 제거하는 밀도 기 반의 분석 모델을 개발하였다. 개발된 모델의 성능은 목포, 군산, 여수 지역에서 항공기를 이용하여 촬영된 초분광 영 상으로 검증하였으며, 해상 선박에 한해 90 %의 탐지 정확도 를 달성하였다. 또한 동일한 분석 조건으로 각기 다른 환경 에서 촬영된 영상에 대한 분석이 가능하다는 것을 확인할 수 있었다. 다만, 육지 인근에 위치한 선박이나 빠른 속도로 이동 중인 선박의 경우 탐지에 실패하였다. 이러한 이유는 탐지 영역 내의 객체 비율이 높아 탐지 결과에서 배제된 것 으로 예상된다. 이러한 단점을 보완하기 위해서는 육지 제 거 알고리즘을 최적화하고, 육지 제거 알고리즘을 적용하기 전 선미파를 제거하기 위한 분석 단계가 추가되어야 할 것 으로 판단된다.

    본 연구에서는 해상 객체에 대한 세분화된 분류가 확립 되지 않은 이유로 비교적 분류가 명확한 선박을 대상으로 정확도를 분석하였다. 향후 해상 객체를 세분화하기 위한 식별 연구를 수행하고, 이를 바탕으로 해상 객체 판단 근거 를 시각화하는 등의 연구가 추가적으로 보완된다면 보다 명 확하게 해상 물체를 식별할 수 있는 기술로 발전시킬 수 있 을 것이라 기대한다.

    사 사

    본 논문은 해양수산부 재원으로 선박해양플랜트연구소의 주요사업인 “해양사고 신속 탐지 식별을 위한 머신러닝 기 반의 초분광 영상분석 기술 개발”에 의해 수행되었습니다 (PES4460). 데이터 분석에 도움을 주신 ㈜ 시즌 연구원분들과 항공 촬영에 도움을 주신 ㈜ 아세아항측 및 현장 실험에 참 여한 본 연구소 연구원분들께 감사드립니다.

    Figure

    KOSOMES-28-7-1120_F1.gif

    Design of flight route for aerial photography in the real maritime area.

    KOSOMES-28-7-1120_F2.gif

    Flowchart of the seawater identification process for removing the seawater area.

    KOSOMES-28-7-1120_F3.gif

    Analysis time graph according to the change in the number of instances.

    KOSOMES-28-7-1120_F4.gif

    Process of land removal.

    KOSOMES-28-7-1120_F5.gif

    Algorithm analysis results in Mokpo.

    KOSOMES-28-7-1120_F6.gif

    Algorithm analysis results in Gunsan.

    KOSOMES-28-7-1120_F7.gif

    Algorithm analysis results in Yeosu.

    KOSOMES-28-7-1120_F8.gif

    Performance of detection model for maritime objects in Mokpo.

    KOSOMES-28-7-1120_F9.gif

    Performance of detection model for maritime objects in Gunsan.

    KOSOMES-28-7-1120_F10.gif

    Performance of detection model for maritime objects in Yeosu.

    Table

    Types of clustering algorithms and working time (Source: https://sciki-learn.org)

    Algorithm working time according to the change in the grid size

    Processing time for object detection (seconds)

    Accuracy of maritime object detection models

    Reference

    1. An, K. , J.-S. Jeong, I.-C. Kim, and D.-B. Kim (2020), The Current Status of Domestic Marine Salvage Industry and Measures for its Promotion, Journal of the Korean Society of Marine Environment & Safety, Vol. 26, No. 2, pp. 149-155.
    2. Angelliaume, S. , X. Ceamanos, F. Viallefront-Robinet, R. Baqué, P. Déliot, and V. Miegebielle (2017), Hyperspectral and Radar Airborne Imagery over Controlled Release of Oil at Sea, Sensors, Vol. 17, 1772.
    3. Jansen, R. W. , R. G. Raj, L. Rosenberg, and M. A. Sletten (2018), Practical Multichannel SAR Imaging in the Maritime Environment, IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, pp. 4025-4036.
    4. Kanjir, U. , H. Greidanus, and K. Oštir (2018), Vessel Detection and Classification from Spaceborne Optical Images: A Literature Survey, Remote Sensing of Environment, Vol. 207, pp 1-26.
    5. KMST (2022), Korea Maritime Safety Tribunal, The 2022 Statistics of Marine Accidents, https://www.kmst.go.kr (Accessed 10 Nov. 2022).
    6. Li, H. , L. Chem, F. Li, and M. Huang (2019), Ship Detection and Tracking Method for Satellite Video based on Multiscale Saliency and Surrounding Contrast Analysis, Journal of Applied Remote Sensing, Vol. 13, 026511.
    7. Park, J.-J. , T.-S. Kim, K.-A. Park, S. Oh, M. Lee, and P.-Y. Foucher (2020), Application of Spectral Mixture Analysis to Vessel Monitoring Using Airborne Hyperspectral Data, Remote Sensing, Vol. 12, 2968.
    8. Seo, D. , S. Oh, and D. Lee (2022), Classification and Identification of Spectral Pixels with Low Maritime Occupancy Using Unsupervised Machine Learning, Remote Sensing, Vol. 14, 1828.
    9. Sletten, M. A. , L. Rosenberg, S. Menk, J. V. Toporkov, and R. W. Jansen (2016), Maritime Signature Correction with the NRL Multichannel SAR, IEEE Transactions on Geoscience and Remote Sensing, Vol. 54, pp. 6783-6790.
    10. Veenstra, T. S. and J. H. Churnside (2012), Airborne sensors for Detecting Large Marine Debris at Sea, Marine Pollution Bulletin, Marine Pollution Bulletin, Vol. 65, pp. 63-68.
    11. Yan, L. , M. Yamaguchi, N. Noro, Y. Takara, and F. Ando (2019), A Novel Two-stage Deep Learning-based Small-object Detection using Hyperspectral Images, Optical Review, Vol. 26, pp. 597-606.
    12. Yu, W. , H. You, P. Lv, Y. Hu, and B. Han (2021), A Moving Ship Detection and Tracking Method Based on Optical Remote Sensing Images from the Geostationary Satelite, Sensors, Vol. 21, 7547.
    13. Zhu, D. , X. Wang, Y. Cheng, and G. Li (2021), Vessel Target Detection in Spaceborne-Airborne Collaborative SAR Images via Proposal and Polarization Fusion, Vol. 13, 3957.