search
Contact Us
HOME

  • Crossref logo
Journal Search Engine

to

Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1229-3431(Print)
ISSN : 2287-3341(Online)
Journal of the Korean Society of Marine Environment and Safety Vol.30 No.5 pp.373-386
DOI : https://doi.org/10.7837/kosomes.2024.30.5.373

Marine-Life-Detection and Density-Estimation Algorithms Based on Underwater Images and Scientific Sonar Systems

Young-Tae Son*†, Sang-yeup Jin**, Jongchan Lee**, Mookun Kim***, Ju Young Byon****, Hyung Tae Moon*****, Choong Hun Shin******
*Managing Director, Geosystem Research Corporation, Gyeonggido, Korea
**Associate Researcher, Geosystem Research Corporation, Gyeonggido, Korea
***Managing Director, Geosystem Research Corporation, Gyeonggido, Korea
****Principal Researcher, Korea Hydro & Nuclear Power Corporation, Gyeongju, Korea
*****Chief Researcher, Korea Hydro & Nuclear Power Corporation, Gyeongju, Korea
******Senior Researcher, Korea Hydro & Nuclear Power Corporation, Gyeongju, Korea
† Corresponding Author : sonty123@geosr.com, 031-5180-5880
May 22, 2024 August 7, 2024 August 29, 2024

Abstract


The aim of this study is to establish a system for the early detection of high-density harmful marine organisms. Considering its accuracy and processing speed, YOLOv8m (You Only Look Once version 8 medium) is selected as a suitable model for real-time underwater image-based object detection. Applying the detection algorithm allows one to detect numerous fish and the occasional occurrence of jellyfish. The average precision, recall rate, and mAP (mean Average Precision) of the trained model are 0.931, 0.881, and 0.948 for the validation data, respectively. Also, the mAP for each class is 0.97 for fish, 0.97 for jellyfish and 0.91 for salpa, all of which exceed 0.9 (90%) for classes demonstrating the excellent performance of the model. A scientific sonar system is used to address the object-detection range and validate the detection results. Additionally, integrating and grid averaging the echo strength allows the detection results to be smoothed in space and time. Mean-volume back-scattering strength values are obtained to reflect the detection variability within the analysis domain. Furthermore, an underwater image-based object (marine lives) detection algorithm, an image-correction technique based on the underwater environmental conditions (including nights), and quantified detection results based on a scientific sonar system are presented, which demonstrate the utility of the detection system in various applications.


Artificial intelligence , underwater image , scientific sonar , object detection and classification , marine-life-density estimation

수중영상과 과학어탐 시스템 기반 해양생물 탐지 밀도추정 알고리즘 연구

손영태*†, 진상엽**, 이종찬**, 김무건***, 변주영****, 문형태*****, 신충훈******
*㈜지오시스템리서치 상무
**㈜지오시스템리서치 전임
***㈜지오시스템리서치 상무
****한국수력원자력㈜ 책임전문원
*****한국수력원자력㈜ 수석전문원
******한국수력원자력㈜ 선임전문원

초록


본 연구의 목적은 유해 해양생물의 고밀도 출현을 조기에 탐지하기 위한 시스템 구축이다. 수중영상 기반 객체탐지 모델의 정확도와 이미지 처리속도를 고려하여 실시간 적용에 적합한 YOLOv8m을 선정하였다. 영상 데이터를 해양생물 탐지 알고리즘에 적용한 결과 다수의 어류 및 간헐적인 해파리 출현을 탐지하였다. 학습 모델의 검증 데이터에 대한 평균 정밀도는 0.931, 재현율은 0.881, mAP는 0.948로 산출되었다. 또한, 각 클래스별 mAP는 어류 0.970, 해파리 0.970, 살파 0.910로 모든 클래스에서 0.9(90%) 이상으로 산출되어 우수한 성능을 확인하였다. 과학어탐 시스템을 통해 객체의 탐지 범위와 시간에 따른 수중 객체탐지 결과를 확인할 수 있었으며 에코적분 격자 평균을 적용하여 시공간축으로 스무딩 처리된 결과를 얻을 수 있었다. 또한, 평균체적후방산란강도 값이 분석 도메인 내 객체탐지 여부에 따른 변동성을 반영하는 것을 확인할 수 있었다. 수중영상 기반 객체(해양생물)탐지 알고리즘, 환경조건(야간 포함)에 따른 수중영상 보정 기법, 과학어탐 시스템 기반의 정량화된 탐지결과를 제시하고 향후 다양한 사용처에서의 활용 가능성을 토의하였다.


인공지능 , 수중영상 , 과학어탐 , 객체탐지 및 분류 , 해양생물 밀도추정

    1. 서 론

    최근 국내 연안해역에서 유해해양 생물로 지정된 주요 해파리의 출현량은 해마다 증가하는 추세를 보인다(NIFS, 2023). 노무라입깃해파리는 여름철(7∼8월)에 집중적으로 나타나고 6∼11월에 걸쳐 보름달물해파리가 출현하는 것으로 보고되었다. 해파리의 대량증식으로 인해 발생되는 피해는 ‘쏘임 사고’, ‘국가기간산업’, ‘어업’ 등으로 구분하였고 경제적 가치로 피해액수를 환산한 결과 연간 약 1천5백억에서 3천억 정도로 추산되었다(NIFS, 2009). 특히 원자력발전소 등 국가 기간산업시설에서 해파리 때문에 발생하는 연간 피해액은 약 588억원으로 산정되었다. 연관된 피해사례는 해외(스웨덴, 영국, 일본 등)의 원전시설에서도 냉각수의 취수 과정에서 이물질(해양부유 쓰레기, 해파리 등)의 유입에 따라 냉각수 공급이 중단되어 발전 출력량이 감소하거나 중단되는 유사 사례가 발생되었다(KBS, 2013;Dong-A Ilbo, 2024).

    영상자료에서 특정 객체를 탐지하기 위한 기법은 여러 인공신경망 기법들 중 합성곱신경망(CNN, Convolutional neural network) 기반의 알고리즘이 주로 적용되어 왔다. 최근들어 수중영상이나 이미지에서 객체(어류, 해파리, 살파 등)를 탐지하기 위한 알고리즘으로서 컴퓨터비젼 분야의 오픈소스인 다양한 알고리즘들(CNN, Fast-R-CNN [Fast Regions with Convolutional Neural Networks], SSD [Single Shot multibox Detector] 등)이 활발하게 적용되는 추세이다. 객체인식(Object detection)은 영상처리나 컴퓨터비젼(CV, Computer vision) 분야에서 가장 많이 사용되는 기법이며 대표적으로 활용되는 모델은 YOLO(You Only Look Once)로 불리는 모델이다. YOLO 모델은 최신의 실시간 객체인식 시스템이며 기존의 CNN 계열 모델보다 탐지 속도가 빠르고 딥러닝 기반의 학습 방식을 취하여 높은 정확도의 데이처 처리 수행능력을 보여준다(Redmon et al., 2016;Jiang et al., 2022).

    수중영상은 빛의 산란, 흡수, 굴절 등으로 인해 대기 영상보다 품질이 일반적으로 낮고, 색상이 왜곡되며 명암이 불규칙하게 나타난다. 수중에서 촬영되는 영상에서 객체를 탐지할 때 상기와 같은 다양한 제약조건에 따라 탐지율에 영향을 줄 수 있으며, 탐지 정확도 뿐만 아니라 탐지 속도에도 부정적인 영향을 줄 수 있다. 따라서 수중영상보정 기술은 수중영상의 품질을 개선하고, 객체탐지에 적합한 형태로 변환하는 전처리 과정을 수행하는 기술로서 수중 생태계, 해양안전과 보안, 해양 자원의 개발과 관리 등의 다양한 분야에서 활용될 수 있다.

    수중음향은 해상 환경에서 널리 전파할 수 있는 특징을 가지고 있다. 해양이라는 환경 특성상 음파가 발신하는 주파수와 거리에 따라 감쇠가 일어나고, 수중 환경의 밀도 구배 및 통과하는 객체의 밀도비에 따라 음속 특성이 달라져 굴절 현상이 일어난다. 해양생물 탐지를 위해 과학어군탐지기(이하, 과학어탐)에서 음파를 내보낼 때 탐지하고자 하는 객체를 투과하며 입사 방향으로 산란하는 정도를 측정한다. 이 때, 객체를 기준으로 후방으로 산란이 일어나는 크기의 선형 값인 후방산란단면적(Backscattering cross section, σ로 표현하며 단위는 ㎡)를 측정하게 되는데, 이를 바탕으로 데시벨 값으로의 변환인 표적강도(Target Strength, TS로 표현하며 단위는 dB re 1 ㎡) 자료를 얻을 수 있다(MacLennan et al., 2002).

    소나방정식은 굴절, 산란, 감쇠 등의 효과를 고려하여TS 값을 계산하는데(Urick, 1962), 스플릿-빔 소나를 이용하여 실험실 환경에서 고정 혹은 유영시 자세각과 주파수에 따른 ex-situ TS 값을 얻고, 왜형파 보른 근사(Distorted Wave Born Approximation, DWBA) 모형을 통해 음향 주파수와 음속, 객체의 형태, 밀도-음속비에 따른 모의 TS 값을 얻을 수 있다 (Stanton et al., 1998). 현 과학어탐의 기술력은 일반적인 해역에 무작위로 분포하는 해양생물의 개체수와 에코(반향신호 선형 값)가 선형적으로 비례한다는 선형성 법칙(Linearity Theorem)을 바탕으로 1980년 경 에코적분법(Echo-integration) 기술이 도입되어 대규모 우점종에 대한 정량화가 가능해졌다(MacLennan, 1990). 소나의 음향 빔이 만들어내는 체적(Volume) 내 후방산란단면적의 총합을 이용하여 체적후방산란계수(Volume Backscattering Coefficient, sv로 표현하며 단위는 m-1)를 계산할 수 있게 되었으며, 후술할 주파수차법을 활용하여 에코를 분류한 뒤 분류된 에코에 해당하는 생물의 음향특성을 이용하여 개체밀도와 현존량(생물량으로도 표현, Biomass)으로 정량화할 수 있다. 현재는 이를 위해 다중주파수 소나를 통해 해양생물 종 고유의 산란강도의 차이를 추출하여 에코를 분류하는 주파수차법이 활용되고 있다어 정량화가 이루어지고 있다(Miyashita et al., 1998;Kang et al., 2002).

    과학어탐을 이용한 주파수차법 및 에코적분법을 통해 해양생물 종을 식별하고 분포량을 정량화하는 시도는 국내외에서 지속적으로 이루어지고 있으며, 국내에서는 고등어와 전갱이 등 어류 뿐만 아니라 동물플랑크톤의 일부인 난바다 곤쟁이류와 보름달물해파리, 노무라입깃해파리 등에 적용된 바 있다(Kim et al., 2018;Lee et al., 2007;Shin et al., 2019). 또한, 국외의 경우에는 어류와 동물플랑크톤의 분류 및 정량화 연구가 세계 여러 해역에서 다수 수행되고 있다(Fernandes et al., 2002;Sato et al., 2015). 음향학적인 생물종 식별 방법을 검증하기 위하여 해당 조사 해역에 서식하는 생물 군집의 조성 및 종 구분을 위하여 생물 채집(Net sampling)이 주로 이용되는데 이는 해상 기후에 의해 제한되기도 하고, 선박과 인력 운용에 따른 시간과 경제적 비용이 상당하다는 단점이 있다.

    기후변화에 따른 유해 해양생물의 증가와 그에 따른 피해 사례가 국내외적으로 증가 추세를 보이고 있으며 원전 시설에서 냉각수 공급 중단에 따른 피해가 발생되면 엄청난 규모로 발생될 확률이 매우 높다. 따라서 원전의 출력감발이나 중단없는 안정적인 전력에너지 공급 담보와 선제적으로 위험요인에 대응할 수 있는 시간을 확보하기 위하여 유해 해양생물 조기 탐지와 출현량에 따른 경보시스템 체계를 구축하는 것은 필수적인 요소이다.

    본 연구는 해양생물 조성과 양을 탐지하여 유해해양생물 고밀도 출현을 조기에 탐지하기 위한 시스템 구축을 목표로 하고 있다(Fig. 1). 이를 위해, 수중카메라에서 얻어진 자료에 영상 기반 객체탐지 알고리즘, 환경조건(야간 포함)에 따른 수중영상 보정기법을 적용하였으며, 과학어탐 시스템을 통해 얻어진 자료에 실시간 전처리 기법과 정량화 기법을 시험 적용하였다. 또한, 본 시스템을 통해 생산된 결과(해양생물 탐지 및 정량화)는 다양한 환경에서 경보시스템으로 활용될 수 있으므로 그 가능성에 대해 토의하고자 한다.

    2. 데이터 및 방법

    2.1 데이터 수집

    영상기반의 해양생물 탐지 알고리즘 구축을 위한 첫 번째 단계로서, 객체탐지 모델의 훈련 과정이 선행되어야 하며 이러한 모델의 훈련을 위해서는 최소 수백 장부터 수만 장까지의 학습용 이미지 수집이 필요하다. 해양생물 이미지는 다양한 웹사이트 및 영상 매체로부터 수집하였으며 웹 상에서 자동으로 필요로 하는 데이터를 수집하는 ‘웹 스크래핑(Web scraping)’ 기술을 통해 대량의 이미지(해파리, 살파 등)를 확보하였다. 확보된 이미지에서 학습에 사용하기 부적합한 이미지와 중복되는 학습자료를 제외하였다. 또한, ROV(Remotely Operated Vehicle)를 이용하여 수중 촬영한(2022년 8월 경상남도 거제시 대포항 및 통영시 연안 인근) 영상을 바탕으로 영상 내 해양생물(어류, 보름달물해파리와 노무 라입깃해파리)이 출현한 부분을 추가적으로 확보하였다.

    초기 단계에서는 약 30,000여 장의 원본 이미지가 수집되었으며, 이미지 증강을 통해 약 70,000여 장의 이미지가 학습에 사용되었다. 또한, 해파리 이외에 살파(Salpa) 역시 원자력 발전소의 운용에 영향을 줄 수 있기에 학습에 활용하기 위하여 살파 이미지를 추가적으로 확보(약 3천장)하였다. 이후 지속적 모델 성능 향상을 위해 추가 수집된 이미지 수는 증강을 포함하여 어류 71,628장, 해파리 64,161장, 살파 20,032 장이며 총 수집된 이미지 수는 152,345장이다(Table 1). 여기서 이미지 숫자는 이미지의 개수를 나타내며 인스턴스는 이미지에 포함된 각 개체의 총 개수를 의미한다. 추가 수집된 이미지 중 일부는 ROV 및 수중 카메라를 이용하여 우리나라 주변 해역에 출현한 노무라입깃해파리와 보름달물해파리를 직접 촬영하였으며 예시는 Fig. 2와 같다.

    수중음향 조사를 위한 시스템으로 과학어군탐지기 DT-X Extreme Automated Monitoring System Echo Sounder(BioSonics, 미국)을 부이 통신부에 설치하였고, 스플릿 빔 디지털 트랜스듀서 120 kHz DT-X DTSP-1206-MS를 부이 부력통 측면부인 수심 6 m 부근에 설치하였다. 데이터 수신은 Visual Acqusition 소프트웨어(V 6.4.1, BioSonics, 미국)을 통해 샘플링 주파수 41667 Hz, ping 간격 1초, 펄스 주기 200 마이크로초, 탐지 범위는 0-150 m로 설정하였다. 데이터 취득 시스템은 2024년 4월 12일 오후 14시부터 적용되어 현재까지 실시간으로 데이터 수집이 이루어지고 있다. 본 연구는 해당 시각부터 5월 7 일 19시까지 수집된 데이터를 대상으로 적용되었다.

    2.2 데이터 전처리

    2.2.1 데이터 라벨링(Data Labeling)

    수집된 이미지가 딥러닝 학습에 사용할 수 있는 형식으로 만들기 위하여 딥러닝 학습에 사용할 수 있는 형식으로 만들어내는 일련의 과정을 ‘라벨링’이라고 한다. 이미지 라벨링은 입력 이미지 위에 객체의 위치와 형태를 표시하고, 그 객체가 어떤 종류에 속하는지 주석으로 표현하는 작업을 말한다. 본 연구에서는 박스 형태로 객체의 위치와 크기를 표기하는 라벨링 기법을 적용하였다..

    효율적인 학습 수행을 위한 라벨링 이미지의 품질확인 과정으로서 이미지 특성 분석을 수행하였고, 초기에 수집한 이미지의 분석결과는 Fig. 3과 같다. 각 이미지에서 목표 생물들은 대부분 이미지의 중심 부근에 위치해 있으며(Fig. 3 중앙), 라벨링이라는 전처리 과정이 출현 객체의 외형을 모두 학습하였다는 것을 나타내기에 인공지능 학습자료로서 가치가 높음을 의미한다. 다시말해 개체가 박스의 중심에 분포하면 온전한 형태를 유지하며, 반면에 외곽에 위치할수록 개체 형상의 일부만 반영되었을 가능성이 높아 중심에 분포할수록 학습모델의 성능이 좋아짐을 의미한다. Fig. 3에서 바운딩 박스의 크기(Fig. 3 오른쪽)는 이미지 전체 크기를 1로 가정했을 때 폭(width)과 높이(height)의 비율(무차원)로 표기하며 전반적으로 작게 분포하고 있으나 박스 크기가 다양함을 알 수 있다. 또한 다양한 개체크기 중 작은 개체가 월등하게 많으며 학습을 통해 작은 개체에 대한 탐지 능력이 우수함을 나타낸다. 바운딩 박스의 크기는 너무 크거나 너무 작으면 학습에 영향을 줄 수 있기 때문에 유의하여 설정해야 한다.

    2.2.2 데이터 증강

    이미지 사전 검토 및 라벨링 과정을 거치면 곧바로 딥러닝 학습을 수행할 수 있지만, 수집한 이미지 수가 충분하지 않은 경우는 인위적으로 이미지의 수를 늘려줄 필요가 있다. 일반적으로 충분한 이미지를 학습시킬 경우, 학습 횟수가 증가함에 따라 오차(Error)가 줄어드는데, 이때 이미지의 수가 작으면 학습 과정에서 과적합(Overfitting)이 발생하여 사용자가 원하는 성능을 발휘할 수 없게 된다. 따라서 딥러닝 모델의 효율성 극대화를 위해 원본 이미지를 변형하여 새로운 이미지로 만드는 과정을 ‘증강(augmentation)’이라고 하며, 이 과정은 데이터 표본을 거의 기하급수적으로 늘릴 수 있다(Buslaev et al., 2020). 대표적인 이미지 증강 방법은 원본 이미지에 대한 회전, 좌우대칭, 상하 대칭, 확대, 뒤집기, 잡음 섞음, 밝기 조정 등이 있다.

    2.3 객체탐지 및 분류

    본 연구에서 수중영상 기반으로 객체를 탐지하는 주요 목적은 취수구 유입 가능성이 높은 해양생물을 실시간으로 자동탐지하고 해양생물의 유입 여부를 판단하기 위한 기초자료로 활용하는 것으로서, 이는 객체탐지라는 컴퓨터 비전 기반의 기술을 통해 구현할 수 있다. 또한, 객체탐지 알고리즘은 딥러닝 기술의 발전으로 관련 기술의 성장도 매우 빠르게 진행되고 있다.

    객체탐지는 컴퓨터 비전의 한 분야로 영상 또는 이미지 에서 원하는 객체를 배경과 구분하여 식별하는 기법이다. 객체를 정확하게 탐지하기 위해서 이미지 상에서 객체의 경계를 설정하여 각 객체를 나타내는 속성 정보와 연관성을 비교해야 하며, 이때 인공지능 기법인 객체탐지 알고리즘이 적용된다. 객체탐지는 지능형 CCTV, 질병 감지, 스마트 양식장 등 여러 분야에 걸쳐 기술이 개발 진행되고 있다.

    인공지능을 이용한 객체탐지는 합성곱 신경망에 기반을 두고 있으며, CNN은 3차원 데이터 형식을 유지한 상태에서 학습이 가능하기 때문에 타 알고리즘 대비 학습 효율성이 높은 것으로 알려져 있다. 본 연구에서는 실시간 객체탐지 및 클래스 분류 성능이 가장 우수한 것으로 알려진 CNN 기반의 YOLO(You Only Look Once) 모델을 적용하여 영상기반의 해양생물 탐지모델을 구축하였다.

    2.4 영상 보정

    수중 환경에서는 대기 중의 빛이 해수면 아래로 투과하면서 대기와 해수면의 밀도 차이로 인해 빛이 산란되는 현상이 발생하고 수심이 깊어질수록 파장대별로 빛의 색상이 흡수되어 이미지 상에서 객체를 탐지하기 어렵게 된다. 또한, 지역적인 요인에 의해 수중 부유물이 많은 해역에서는 부유물로 인하여 대상체의 형태가 명확하게 구분되지 않는 경우가 빈번하게 나타난다. 이러한 왜곡 및 혼탁은 탐지와 분류 성능의 저하를 야기함으로 보정이 필요하다.

    본 연구에서는 해양의 특성에 따른 빛과 가시성 변화를 복원하기 위해 컴퓨터 비전 기반의 RGB 요소 변환 기법을 적용한 고도화된 수중 이미지 보정 알고리즘을 적용하였다. 해당 알고리즘은 Image Filter, White Balance, CLAHE Lab 등 기법을 포함한 6단계로 이루어진다. 각 기법은 순차적으로 적용되며 수중에서 촬영된 영상의 손실된 색상정보 복원, 가시성 향상, 객체 선명도 향상을 수행한다(Fig. 4).

    2.5 과학어탐 음향 신호 전처리 및 분석 프로세스

    과학어탐 데이터는 자체 바이너리 포맷인 .dt4 파일로 수집하였으며, 분석 가능한 체적후방산란강도(Sv) 테이블 타입으로 변경하기 위해 미니 PC를 이용하여 Visual Acqusition 소프트웨어 내 유틸리티를 이용하여 쉼표로 분리되는 값 형태 (Comma-separated Values, csv)의 파일로 변환한 뒤, Julia 소프트웨어(V 1.9.3, Julia Programming Language) 알고리즘을 통해 자료 분석 후 결과물을 서버로 전송한다. 과학어탐과 연관된 상세한 설정값은 Table 2에 표현하였다. 자료 분석을 위해 MacLennan et al.(2002)에 공개된 계산식과, Echoview 공개 문서 알고리즘(https://support.echoview.com/)이 적용되었다(Fig. 6).

    데이터는 실시간 Sv 타입으로 5분 간격으로 얻어지며, 전 처리의 일환으로 데이터에 존재하는 배경잡음 제거를 위해 시변잡음(Time-varied Noise) 제거 기법(Eq. 1)이 수행되었다. 기준 데시벨은 잡음도가 높은 천해 해역 특성을 고려하여 -130 dB 로 설정하여 데이터를 처리하였다. Sv 값의 상한선과 하한선을 제한하는 방법을 적용하여 하한선은 -90 dB, 상한선은 -45 dB 를 적용하였다. 또한 생물 군집을 탐지하기 위해 시간과 범위 축으로 스무딩하기 위해 격자평균(셀 또는 빈) MVBS(Mean Volume Backscattering Strength, Eq. 2)를 계산하였다. 이 과정에서 에코적분 격자는 탐지범위 간격 1.79 cm 기준 270개(약 5 m), 핑 간격 1초 기준 300개(5분)으로 구성하였다.

    T V T = S υ ( 1 ) + 20 log ( r ) + 2 α ( r − 1 )
    (Eq. 1)

    • α: Absorption Coefficient

    해양생물 개체밀도를 계산하기 위해 Sv 값을 선형 값으로 변환한 뒤 음향 빔 방향으로 탐지 범위 z1에서 z2까지의 데이터에 대해 적분을 수행하여 면적후방산란계수(Area-backscattering Coefficient)를 계산한다. 그 후, 사전에 설정해둔 선행연구를 통해 밝혀진 생물종의 개체에 대한 음향특성(후방산란단면적) 값으로 나누어 어류, 해파리에 해당하는 종의 개체수 추정치를 계산하고 기존 연구를 통해 얻은 생물종의 평균체중을 적용하여 개체밀도 추정치를 계산한다(Eq. 3). 본 연구에서는 어류의 경우 주로 군집으로 출현하는 고등어의 120kHz 기준 TS 결과치(25.5 cm 기준, -38.8 dB)를 사용하였으며(Kang et al., 2022), 해파리의 경우 Kang et al.(2014)에서 제시하는 노무라입깃해파리 TS 결과치(32 cm 일 때 -56.6 dB)와, Lee(2013) 에서 제시하는 보름달물해파리(14 cm 일 때 -68.3 dB) TS 결과치를 활용하였다. 습중량 밀도로 변환하기 위해 노무라입깃 해파리는 2.2 kg/ind., 보름달물해파리는 0.12 kg/ind. 값이 적용 되었다. 영상 정보 요약자료에서 우점종에 대한 정보가 나오게 되면 해당 생물군에 대한 개체밀도 추정치를 시스템으로 표출하여 사용자가 확인할 수 있도록 자료를 실시간으로 생산한다. 본 시스템 특성상 중요성이 높은 해파리(보름달물 해파리/노무라입깃해파리) 정량화 결과를 사용자가 쉽게 확인할 수 있게 표현하였다.

    M V B S = 10 log 10 ∑ r = 1 m ∑ t = 1 n s υ / ( m * n − χ )
    (Eq. 2)

    • Sυ : Volume Backscattering Coefficient (m-1)

    • x: Number of invalid samples

    s a = ∫ z 1 z 2 s υ d z , N A = s a / σ A , ρ A = N A * W A
    (Eq. 3)

    • sa : Area backscattering coefficient (㎡/㎡)

    • σA : Backscattering cross-section of species A (㎡)

    • NA : Estimated numbers of species A (fish/㎡)

    • WA: Conversion factor to body weight of species A (g/m)

    • ρA: Estimated density of species A(g/㎡)

    3. 결 과

    3.1 영상객체 탐지모델 학습 및 알고리즘 구축

    3.1.1 객체탐지 알고리즘 구축

    객체탐지 알고리즘 구축과 학습과정은 Fig. 5와 같은 순서로 진행되며, 원하는 탐지 대상의 이미지 데이터셋을 준비하여 딥러닝 학습 및 업데이트를 반복적으로 수행한 후 가중치를 최종적인 결과물로 산출한다. 이때 산출된 가중치를 수중영상장비와 결합하면 실시간 자동탐지가 가능하다. 향후 지속적인 탐지성능 향상을 위하여 새로운 학습 데이터셋을 수집하고 전처리하여 추가 인공지능 학습을 반복적으로 진행하면서 최적화된 알고리즘을 유지하게 된다.

    영상 기반의 실시간 해양생물 탐지를 위해 사용된 YOLO 알고리즘은 YOLOv1(버전 1)에서 시작하여 현재 YOLOv9(버전 9)까지 공개되었다. 이 중 공식 개발 플랫폼인 Ultralytics에서 지속적인 업데이트와 성능 검증을 진행한 안정적인 버전의 YOLOv8 가중치를 활용하였다. YOLOv8은 다른 객체탐지 모델 및 이전 버전의 YOLO 모델과 성능을 비교하였을 때 동일한 데이터 조건에서 가장 높은 정확도를 보이며, 특히 이미지 프레임 처리속도가 타 모델 대비 2배 이상 빠른 것으로 나타나 실시간 탐지에 가장 적합하다고 판단하였다. YOLOv8는 현재 신경망 구성에 따라 5종의 세부 모델을 제공하고 있으며, 각각 크기별로 5개의 세부 모델로 나누어진다. 각 모델은 n(매우 가벼운 모델), s(가벼운 모델), m(중간 모델), l(무거운 모델), x(매우 무거운 모델)로 구성되며 일반적으로 무거울수록 높은 탐지 정확도를 가지나 긴 추론시간을 보이고, 가벼울수록 빠른 처리속도를 보이나 비교적 낮은 탐지 정확도를 보인다. 본 연구에서는 각 모델의 정확도와 이미지 처리속도를 고려하여 실시간 적용에 적합한 중간 크기의 YOLOv8m을 선정하였다.

    3.1.2 모델 학습

    어류, 해파리, 살파 3개 클래스로 이루어진 증강 완료된 152,000여 장의 이미지 학습 데이터셋을 YOLOv8m에 학습하였다. 총 이미지의 80 %는 학습을 위한 Train 데이터셋, 10 %는 학습에 대한 검증을 위한 Validation 데이터셋, 나머지 10 %는 최종 검증을 위한 Test 데이터셋으로 구성하였다.

    초기 학습 파라미터 설정은 최대 10,000회(Epoch) 반복 학습하도록 설정하였으며 만약 50회 이상 성능개선이 이루어지지 않으면 학습을 종료하도록 하는 조기 종료 명령어(Early Stopping)를 설정하였다. 또한, 학습시 모델이 한 번에 읽어들이는 최대 이미지 수를 나타내는 배치 사이즈(Batch Size)는 GPU(그래픽 처리 장치)성능을 고려하여 144로 설정 하였으며, 옵티마이저(Optimizer)는 경사하강법(SGD, Stochastic Gradient Descent)을 적용하였다

    3.1.3 모델 검증

    모델의 학습은 총 247회 진행되고 조기 종료되었으며 검증 데이터에 대한 모델의 평균 정밀도는 0.931, 재현율은 0.881, mAP(mean Average Precision, 객체탐지 모델의 성능을 평가하는 대료적인 지표)는 0.948로 산출되었다(Fig. 7, Table 3). 또한, 각 클래스별 mAP는 어류 0.97, 해파리 0.97, 살파 0.91로 모든 클래스에서 0.9(90 %) 이상으로 산출되어 우수한 성능을 확인하였다. 이 중 살파의 경우 0.840의 재현율로 어류와 해파리에 비해 소폭 낮게 나타나는데, 이는 학습 데이터 수가 상대적으로 적고 개체가 정형화된 형태가 아닌 무리를 지어 체인 형태로 존재하거나 부유물과 같은 형태, 뭉쳐 있는 형태 등으로 인해 인공지능 모델이 식별에 일부 어려움을 겪는 것으로 판단된다.

    3.1.4 이미지 보정

    획득된 야간 수중영상 중 일부 이미지에 위에서 기술한 보정 기법을 적용하여 테스트를 수행하였다. 보정기법을 적용하기 전 이미지는 수중 부유물 등에 의해 높아진 탁도의 영향으로 대체로 뿌옇게 보여지나, 해당 알고리즘을 사용하여 이미지 보정을 실시한 결과 색상, 선명도, 빛 번짐 등이 완화되는 결과를 도출하였다(Fig. 8).

    일부 이미지에 기존 및 개선된 수중 이미지 보정 알고리즘을 적용하고 보정결과를 정량적으로 비교하기 위해 이미지 품질평가에 활용되는 지표인 UCIQE(Underwater Color Image Quality Evaluation; Yang et al., 2015)와 UIQM(Underwater Image Quality Measurement; Panetta et al., 2015)를 산출하였다. 이미지 보정결과는 Fig. 8과 Table 4에 나타내었다. 우선 원본 이미지의 경우 UIQM은 0에 가까운 매우 낮은 값으로 산출 되었으며, 특히 야간에 촬영된 이미지 (c)의 경우 부족한 광량과 이미지의 특성으로 인해 산출이 불가하였다. 해당 이미지들에 보정 알고리즘을 적용한 결과 UCIQE는 원본 대비 114.4~208.4 % 증가하여 기존 대비 최대 2배의 개선율을 보였다. 또한, 원본 이미지에서 정상적으로 산출되지 않은 UIQM은 보정 후 모든 이미지에서 0.42~1.07로 정상 산출되었다.

    3.1.5 해양생물 탐지

    수중영상 모니터링 부이로부터 전송받은 데이터를 해양 생물 탐지 알고리즘에 적용한 결과 다수의 어류 및 간헐적인 해파리 출현을 탐지하였다(Fig. 9). 주간의 경우 10마리 내외의 어류들이 지속적으로 탐지되는 것을 확인할 수 있었으며(Fig. 9 (a)), 간헐적으로 해파리가 출현하여 탐지되었다 (Fig. 9 (d)). 유영능력이 없는 해파리의 경우 대량출현 현상이 발생하지 않아 어류에 비해 화면 내 포착되는 빈도가 매우 적게 나타났다.

    야간의 경우 수중 조명장치가 작동함에 따라 일반 어류와 멸치와 같은 소형어류 군집이 부이 주변에 밀집하는 것을 확인할 수 있었다. 일반 어류의 경우 개별 객체를 대부분 탐지하였으며, 소형어류의 경우 깊은 곳에 위치하여 희미하게 나타나거나, 다른 객체에 의해 겹치는 경우를 제외하고 약 50∼150마리의 범위로 탐지되었다. 해당 결과를 통해 인공지능 기반의 해양생물 탐지모델이 대상 해역의 실제 수중 환경에서 대상종을 명확히 탐지하고, 다수의 소형 객체의 개별 탐지도 가능하여 경보 시스템의 구성 기술로 원활한 적용이 가능함을 확인하였다.

    3.2 과학어탐 시스템 자료 처리 및 분석

    과학어탐 시스템을 통해 1-250 m 구간의 산란강도 자료를 수집하였다. 그러나, 소나 설치 수심과 해수면 및 해저지형(해저면 경사 약 3˚) 탐지로 인해 에코그램 범위는 1-120 m로 제한하였으며, 분석 도메인은 잡음 발생 구간이 상대적으로 적게 나타난 50 m를 상한으로 하였다. 원자료 에코그램의 그림에서는 다양한 패턴의 잡음과 산란체가 동시에 지속적으로 탐지되는 것을 확인할 수 있다. 잡음의 경우, 80-100 m 사이 탐지 범위에서 -45 dB 부근의 높은 산란강도 값이 상시 존재하며, 수심 20~25 m와 40~45 m에서 거의 동일한 산란강도가 상시 존재하는 것으로 보아 잡음이 나타나는 것으로 사료된다(Fig. 10a).

    격자 MVBS 에코 그램은 5~50 m 사이의 5분과 5 m 간격으로 스무딩된 자료를 보여주는데, 6월 8일 6시, 6월 9일 0시, 6월 9일 약 14시 경에 높은 산란강도가 나타나는 것을 확인할 수 있다(Fig. 10b). 또한, MVBS 값이 분석 도메인 내 객체탐지 여부에 따른 변동성을 반영하는 것을 확인할 수 있다.

    전처리가 수행된 MVBS 자료를 분석 격자 내에서 탐지 범위 축으로 적분을 수행해서 얻어진 자료를 대상으로 1분당 100 ㎡ 영역에 해당하는 개체수를 추정하였고, 매 시간 기준으로 총합하여 평균 처리를 수행하였다(Fig. 11). 노무라입깃 해파리는 같은 기간 동안 0.19~5.47 ind. 100 m-2 1 min-1 로 추정되었으며, 음향특성의 차이로 인해 보름달물해파리는 3.26~92.96 ind. 100 m-2 1 min-1 로 추정되었다. 같은 기간동안 습중량 밀도로는 각각 0.42~12.04 kg 100 m-2 1 min-1, 0.39~11.16 kg 100 m-2 1 min-1 로 추정되었다.

    4. 토 의

    본 연구의 수중영상 자료에서 객체탐지 알고리즘의 탐지율을 저하시키는 요인으로 카메라 렌즈에 맺힌 기포 또는 빚 번짐으로 인한 오탐지와 해양부유물(비닐, 테이프 등)에 의해 객체의 탐지 오류 등 물리적인 요인을 지적할 수 있다. 또한 촬영된 수중영상에서 탐지 대상 객체가 측면이 아닌 상면(위에서 아래로 바라봄)으로 나타날 경우 낮은 탐지율이 나타났고, 객체탐지의 정확도 개선을 위하여 수중에서 촬영된 객체의 상면 이미지 자료를 수집(약 17,000장의 이미 지)하여 추가 학습하였다. 새롭게 학습된 모델 적용결과, 기존 모델에서 탐지하지 못했던 객체들(어류)을 탐지하였고 탐지 대상이 아닌 객체를 탐지하는 오류 역시 감소되는 결과를 확인하였다(Fig. 12).

    수중영상에서 객체를 탐지할 때 탐지율에 영향을 줄 수 있는 요인들은 수중의 탁도, 태양광, 수직적 빛 투과 정도 등 매우 다양하다. 이미지의 색상 보정을 위한 다양한 알고리즘을 적용하여 객체의 탐지율을 개선할 수 있었지만 가시광선 파장대의 영상을 획기적으로 개선하기에는 한계가 존재한다. 이러한 한계상황을 극복하기 위하여 최근 이미지 소나, 단일빔 혹은 다중빔 소나(Sonar)와 같은 초음파 기반의 소나 자료를 활용하여 객체를 탐지 및 분류하려는 연구가 진행되고 있다. 향후 소나 기반의 객체탐지와 밀도추정 알고리즘을 융합 구축한다면 시야가 제한되는 극한 수중환경 조건에서도 적용이 가능할 것으로 판단된다.

    수중음향을 이용한 종 분류 및 정량화는 다중주파수 어탐기를 이용해야하며 데이터 수집과 분석을 위해 상당한 비용이 유발된다는 점, 앞서 언급한 것과 같이 음향특성이 밝혀진 우점종을 대상으로만 적용 가능하다는 점, 그리고 데이터 신뢰성을 위해 직접 어류를 채집한다는 단점이 존재한다 (McClatchie et al., 2000). 만일 우점종이 존재하지 않을 경우에는 Sv나 MVBS 값을 이용하여 수층에 존재하는 산란체의 추이를 살펴보는 연구가 이뤄진다. 또한, 단일주파수를 활용한 생물 분포 정량화는 생물 채집을 통한 우점종의 분포비율을 가중치로 삼아, 각각 종별의 평균 체장에 해당하는 체중을 곱해 계산된 밀도량과 생태 특성을 실제 환경에 반영 하는 방식이 존재한다(Simmonds and MacLennan, 2008). 본 연구에서 정량화 과정에 활용된 선행 연구를 통해 밝혀진 음향특성 값은 수직빔 방향으로 얻어진 결과로 수평빔 형태로 얻어진 자료에 적용함으로써 많은 오차를 유발할 가능성이 있다. Yang et al.(2023)에 따르면, 120 kHz 주파수에 대한 노무 라입깃해파리 TS의 범위가 수직빔의 경우 -72.7~ -56.3 dB로, 수평빔의 경우 -79.9~ -58.5 dB로 실측을 통해 측정 방법에 따라 상이한 수치로 나타나는 것을 확인할 수 있다. 그러나, 본 연구에 활용된 방법론 상 에코를 분류할 수 없으므로 실제 자원량의 값이 얼마나 정확한지에 초점을 둘 수 없다. 따라서, 본 연구는 특정 해파리가 우점한 경우에 전체적인 음향 자료의 경향을 해파리의 개체수 및 생체량 밀도 자료로 변환가능한지 여부에 집중하므로 측정 방법(수직, 수평)에 의해 유발되는 오차는 무시하였다. 추후 연구를 통해 수평 빔에 의한 음향특성이 밝혀질 경우, 시스템에 해당 값을 활용하여 해당 연구를 활용할 수 있다.

    본 연구는 단일주파수 과학어탐을 사용하여 발생하는 한계를 수중영상 및 알고리즘을 통해 얻어진 자료를 바탕으로 극복하고자 하였다. 수평 소나를 운용하는 만큼 소나의 흔들림으로 인해 빔의 방향이 흔들리게 되어 해수면이나 해저면이 탐지 되거나 물리해양 변화가 발생하여 음선이 굴절될 경우에 해저면을 탐지할 가능성이 높아진다. 에코그램을 통해 산란강도의 패턴을 확인해볼 때, 상시 또는 무작위로 발생하는 것이 아니라 특정 시간대에 걸쳐 발생, 완화하는 패턴을 보였다. 이러한 패턴 잡음으로 인해 분석 범위를 50 m 를 상한으로 제한하게 되었다. 본 시스템은 유해해양생물의 고밀도 출현 시기에는 소나로부터 100 m 이격된 거리에서 확인된 분포 자료가 수평 소나로 탐지하는 범위 중 분석범 위(본 연구에서 5-50 m)와 동일한 분포가 존재할 것이라는 가정이 적용된다.

    본 연구 자료 기간 내에 해파리가 3마리 이상 탐지된 사례가 존재하지 않고 살파가 미탐지되어 어류만이 우점하였다. 이에, 수중영상 자료와 연계하여 과학어탐을 통해 정량화된 생물의 개체밀도 추정량을 제시하지 못하였지만, 보름 달물해파리를 대상으로 정량화를 수행한 결과를 예시로 제시할 수 있었다. 과학어탐 자료를 통한 생물군별 정량화는 각 생물군별로 실시간으로 지속적으로 이루어지고 있는 만큼, 추후 지속적인 자료 수집을 통해 다양한 상황에서 얻어진 우점종 정보를 바탕으로 해파리나 살파가 우점하는 시기가 도래할 경우 본 시스템을 통해 해당 생물군에 대한 실시간 개체밀도 추정량을 모니터링할 수 있다.

    본 시스템에 활용된 잡음 제거 기법은 매우 제한적으로, 배경잡음를 제거하고 일반적인 산란강도 범위 자료를 수집 하는데에 목적을 두고 있다. 따라서 근본적으로 지속적으로 존재하는 잡음을 전부 제거했다고 보기 어려우며, 분석 도메인 내에도 20-25 m 내에서 -70 dB 미만의 크기로 지속되는 잡음이 존재한다. 자료 수집기간동안 음향자료는 -100 dB에서 0 dB 사이로 높고 낮은 값이 진동하는 것으로 나타났다. 자료 상에서 높은 산란강도가 발생할 수 있는 가능성은 생물에 의한 영향으로 광범위한 어군 떼 발생, 기기에 대한 직접적 영향으로 고파고(너울) 등 악천후로 인한 부이 및 센서 진동, 물리해양 영향으로 음선 변화로 인한 음파 굴절, 고파 고로 인한 주기적인 잡음 유입 등 다양한 가능성이 존재한다. 잡음은 감쇠와 같이 신호를 저감(Damping)시키기도 하지만, 대부분 높은 산란강도 값으로 나타난다. 이러한 잡음이 존재하는 상황에서는 본 시스템과 같이 개체밀도 추정량으로 정량화할 경우에는 데이터가 실제 생물 분포 특성을 반영하지 않을 가능성이 매우 높아진다. 또한, 본 연구 과정에서 지속적으로 확인할 수는 없었지만, 해당 지역은 어로행 위가 잦다는 점에서 선박 운용에 의한 버블, 선박 탐지, 항주파에 의한 잡음, 어망 탐지 등 다양한 변수 또한 존재한다는 점도 고려해야 한다.

    소나의 탐지 범위는 음파 전달 특성에 미치는 변수, 예를 들어 발신 각도, 주파수, 해저면 타입, 파랑에 의한 해수면 거칠기 및 성층에 의한 음속 구배 등 다양한 영향을 받으며 (Wells et al., 2021), 천해의 경우 밀도 전선 발생 및 진동에 의한 내부파(Internal wave)에 의해 넓은 범위의 음향 전파 손실이 발생하는 것으로 알려져있다(Lee et al., 2015). 이렇듯 잡음에 의한 영향 파악 및 분석 고도화를 위해 수직 음속 구배 및 파랑 모니터링이 수반된다면 더욱 고도화된 해양생물 모니터링이 가능할 것으로 사료된다.

    객체탐지가 가능한 수중영상 플랫폼과 과학어탐의 기능을 융합하여 적용이 가능할 것으로 판단되는 활용처는 다음과 같다. 우선 융합 시스템은 해양 생태계의 실시간 모니터링에 적용 가능하며 돌고래, 어류, 해파리 등의 해양생물 관찰 및 대상체의 행동, 분포, 이동패턴 등을 연구하는데 활용 할 수 있다. 이는 해양생태계의 건강 상태를 평가하고 해양 생태계와 기후변화의 상관관계를 이해하는데에도 중요한 역할을 할 수 있을것으로 판단된다.

    어족자원관리 측면에서 과학 어탐은 어군의 위치와 이동 패턴을 파악하는데 활용이 가능하고 수중영상으로부터 어종에 대한 명확한 정보를 제공받아 어족자원의 효율적인 관리가 가능하다. 또한 융합 시스템으로부터 획득된 정량적 자료를 바탕으로 효율적인 어업 활동을 계획하고 과잉 어로로 인한 어족자원 감소를 방지하기 위해 자원관리 전략을 수립하는데 도움이 될 수 있다. 해양 오염원 감시 측면에서 해양오염(특히 해양 쓰레기, 기름 유출 등)의 정도와 분포를 파악하는데 응용이 가능하며 이로부터 오염 원인 파악과 해양환경보전 대응방안을 마련하는데 기초자료로 활용이 가능하다. 이는 해양오염에 따른 환경적 변화를 집중 모니터링하고 해양 오염 복원에 대한 실질적 방안 마련과 효율적인 방제대책 수립의 활용이 가능하다. 해양 산업측면에서 수중영상을 기반으로 자원 탐사를 위한 해양 구조물의 안전 점검 및 유지보수를 위한 기초적인 판단자료로 활용이 가능하다. 더불어 해양 에너지 자원(예, 해양풍력, 해양 파력 등) 의 개발 가능성을 평가하는데 사용될 수 있으며 특히 해양 풍력발전소의 설치 위치를 결정하거나 해양파력 발전의 효율성을 평가하는데 도움이 될 수 있을 것으로 기대된다. 또한 융합된 수중영상과 과학어탐 시스템은 수영 선수들의 동작을 분석하고 훈련 방법을 개선하는 등 수중 스포츠 분야에서도 활용이 가능할 것으로 사료된다. 더 나아가 융합된 정보는 다양한 형식의 시각적 효과와 콘텐츠의 영상 기술을 적용하여 해양 생태계와 해양환경에 대한 대국민 교육 및 홍보 자료로 활용할 수 있으며 이를 통해 해양 생태계와 환경에 대한 이해도를 높일 수 있다.

    컴퓨팅 기술의 발전으로 데이터 분석 한도(Capacity)가 지속적으로 증가하고 있다. 이와 함께 가시광선 파장 대역을 이용하는 광학카메라로 볼 수 없는 영역을 초분광 카메라를 이용하여 자연 현상을 해석하는 비용과 접근의 한계성이 대폭 낮아졌다. 수중음향도 협대역 주파수 소나를 이용하여 얻은 자료를 해석하는 것에는 많은 한계가 존재하나 광대역 주파수 시스템은 보다 복잡한 데이터 해석이 가능할 것으로 기대하고 있으며 연구가 활발히 이루어지는 추세이다(Kang et al., 2022). 천해 지역의 복잡한 물리적인 현상 속에서 생물을 탐지하는 성능을 고도화 하기 위해 광대역 주파수 소나 시스템이 더욱 효과적으로 활용될 수 있을 것으로 보인다.

    향후 개발된 각각의 해양생물 탐지 및 밀도추정 알고리즘으로부터 산출된 해양생물의 정량적 밀도 추정량과 탐지 결과를 융합하여 실시간으로 정보를 받아볼 수 있는 시스템을 마련한다면 특정한 위치(해역)에서 해양생물의 탐지와 정량적인 자료를 바탕으로 경보 신호를 줄 수 있는 조기 경보체계를 구축할 수 있을 것으로 기대된다.

    감사의 글

    본 논문은 한국수력원자력㈜과 ㈜지오시스템리서치가 공동으로 수행한 연구결과입니다.

    Figure

    KOSOMES-30-5-373_F1.gif

    Schematic diagram of building an underwater camera and scientific sonar monitoring system (left panel). Power is supplied using solar panels and storage batteries. Mooring location of underwater CAM (camera) buoy and DT-X Sonar Buoy in this study (right panel).

    KOSOMES-30-5-373_F2.gif

    Moon jellyfish (Aurelia aurita, left) and Nomurai jellyfish (Nemopilema nomurai, right) taken in the waters of Geoje, South Sea of Korea.

    KOSOMES-30-5-373_F3.gif

    Characteristics of marine object image dataset analysis. a) number of instances per class, b) object location distribution and c) object size distribution. The units are numbers in a). Those in b) and c) are dimensionless.

    KOSOMES-30-5-373_F4.gif

    Steps to apply underwater image correction algorithm.

    KOSOMES-30-5-373_F5.gif

    Image Object detection artificial intelligence model construction and learning process.

    KOSOMES-30-5-373_F6.gif

    Schematic flow map of the realtime scientific echosounder data processing and analysis. Navy box indicates results which is continuously saved as pre-defined formatted files in the server and gray box indicates their components.

    KOSOMES-30-5-373_F7.gif

    History graph of performance and validation in YOLOv8m model.

    KOSOMES-30-5-373_F8.gif

    Original image(left) and post-corrected underwater image(right) captured by a monitoring system; (a) & (b) : Daytime image; (c) : Nighttime image. The images were taken in the installation area of the monitoring system around Uljin in August 2023, East Sea of Korea.

    KOSOMES-30-5-373_F9.gif

    (a) Daytime fish detection results; (b) Night-time fish detection results; (c) Night-time small fish school detection results; (d) Daytime jellyfish detection results. The bounding box label for each object includes the detected object's class and a confidence score ranging from 0 to 1. The image was taken in August 2023 at the monitoring system installation area around Uljin in the East Sea, South Korea.

    KOSOMES-30-5-373_F10.gif

    In this study, (a) Raw Sv, (b) Noise-eliminated and Gridded MVBS Echogram was exhibited scatterers and stationary noises in the water columns.

    KOSOMES-30-5-373_F11.gif

    Hourly averaged number of (a) Giant Nomra Jellyfish and (b) Moon Jellyfish in range-integrated MVBS was estimated per minute in 100 ㎡ area.

    KOSOMES-30-5-373_F12.gif

    Comparison of detection results after improving model accuracy; (a) Elimination of incorrectly detecting air bubbles on the lens as jellyfish; (b) Elimination of the phenomenon of mistakenly recognizing materials such as copper tape as fish; (c) Improved detection rate for multiple fish occurrences.

    Table

    Number of marine life images and instances used for object detection model training

    DT-X Echo-sounder user-settings applied for this study

    Results of validation index for model and each class

    Results of quality indicator before and after underwater image correction for figure 6

    * The rate in parentheses indicates the increase rate of the evaluation index of the corrected image compared to the original image.

    Reference

    1. Buslaev, A. , V. I. Iglovikov, E. Khvedchenya, A. Parinov, M. Druzhinin, and A. A. Kalinin (2020), Albumentations: fast and flexible image augmentations, Information, 11(2), 125.
    2. Dong-A Ilbo (2024), https://www.donga.com/news/It/article/all/20240616/125457370/2.
    3. Fernandes, P. G. , F. Gerlotto, D. V. Holliday, O. Nakken, and E. J. Simmonds (2002), Acoustic applications in fisheries science: the ICES contribution.
    4. Jiang, P. , D. Ergu, F. Liu, Y. Cai, and B. Ma (2022), A Review of Yolo algorithm developments, Procedia computer science, 199, pp. 1066-1073.
    5. Kang, M. , M. Furusawa, and K. Miyashita (2002), Effective and accurate use of difference in mean volume backscattering strength to identify fish and plankton, ICES Journal of Marine Science, 59(4), pp. 794-804.
    6. Kang, D. , J. Park, S. K. Jung, and S. Cho (2014), Estimates of acoustic target strength for giant jellyfish Nemopilema nomurai Kishinouye in the coastal Northwest Pacific, ICES Journal of Marine Science, 71(3), pp. 597-603.
    7. Kang, M. , Y. -H. Cho, H. La, W. Son, H. Yun, A. Adrianus, and Y. -S. An (2022), The first attempt of utilization of a wideband autonomous acoustic system and its general knowledge on analyzing the wideband acoustic data, Journal of the Korean Society of Fisheries and Ocean Technology, 58(2), pp. 130-140.
    8. KBS (2013), https://news.kbs.co.kr/news/pc/view/view.do?ncd=2732777.
    9. Kim, P. , I. Han, W. Oh, Y. -M , Choi, S. Yoon, H. Lee, and K. Lee (2018), Biomass Estimate of Euphausiids Euphausia sp. Using the Two-frequency Difference Method, The Korean Society of Fisheries and Aquatic Science, 51(3), pp. 305-312.
    10. Lee, K. -H. , I. -O. Kim, W. -D. Yoon, J. -K. Shin, and H. -C. An (2007), A study on vertical distribution observation of giant jellyfish (Nemopilema nomurai) using acoustical and optical methods, Journal of the Korean Society of Fisheries and Ocean Technology, 43(4), pp. 355-361.
    11. Lee, C. W. (2013), Acoustic scattering characteristics of Moon Jellyfish(Aurelia aurita) in Korea coastal water, Doctoral dissertation, Hanyang University.
    12. Lee, S. , S. Kim, J. W. Choi, D. Kang, J. S. Park, and K. Park (2015), Possibility of False Target Signals Induced by Reverberation Due to Internal Waves in Shallow Water, The Journal of the Acoustical Society of Korea, 34(2), pp. 98-107.
    13. MacLennan, D. N. (1990), Acoustical measurement of fish abundance, The Journal of the Acoustical Society of America, 87(1), pp. 1-15.
    14. MacLennan, D. N. P. G., Fernandes, and J. Dalen (2002), A consistent approach to definitions and symbols in fisheries acoustics, ICES Journal of Marine Science, 59(2), pp. 365-369.
    15. McClatchie, S. , R. E. Thorne, P. Grimes, and S. Hanchet (2000), Ground truth and target identification for fisheries acoustics, Fisheries research, 47(2-3), pp. 173-191.
    16. Miyashita, K. , I. Aoki, K. Seno, K. Taki, and T. Ogishima (1998), Acoustic identification of isada krill, Euphausia pacifica Hansen, off the Sanriku coast, north‐eastern Japan, Fisheries Oceanography, 6(4), pp. 266-271.
    17. NIFS (2023), https://www.nifs.go.kr/jelly/main.jely.
    18. NIFS (2009), A Study on the Prevention of Harmful Maine Life Jellyfish Damage.
    19. Panetta, K. , C. Gao, and S. Agaian (2015), Human-Visual- System-Inspired Underwater Image Quality Measures, IEEE J. Oceanic Engineering, 41(3), pp. 541-551,
    20. Redmon, J. , S. Divvala, R. Girshick, and A. Farhadi (2016), You only look once: Unified, real-time object detection, In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779-788.
    21. Sato, M. , J. K. Horne, S. L. Parker-Stetter, and J. E. Keister (2015), Acoustic classification of coexisting taxa in a coastal ecosystem, Fisheries Research, 172, pp. 130-136.
    22. Shin, H. -H. , I. Han, W. Oh, J. Chae, E. Yoon, and K. Lee (2019), Estimation of Moon Jellyfish Aurelia coerulea Using Hydroacoustic Methods off the Coast of Tongyeong, Korea. The Korean Society of Fisheries and Aquatic Science, 52(6), pp. 725-734.
    23. Simmonds, J. and D. N. MacLennan (2008), Fisheries acoustics: theory and practice. John Wiley & Sons.
    24. Stanton, T. K. , D. Chu, and P. H. Wiebe (1998), Sound scattering by several zooplankton groups, II. Scattering models, The Journal of the Acoustical Society of America, 103(1), pp. 236-253.
    25. Urick, R. J. (1962), Generalized form of the sonar equations, The Journal of the Acoustical Society of America, 34(5), pp. 547-550.
    26. Wells, M. G. , J. Li, B. Flood, Y. Kuai, J. L. Brooks, S. J. Cooke, P. Semcesen and J. D. Midwood (2021), Speed of sound gradients due to summer thermal stratification can reduce the detection range of acoustic fish tags: results from a field study in Hamilton Harbour, Ontario., Canadian Journal of Fisheries and Aquatic Sciences, 78(3), pp. 269-285.
    27. Yang, H. , J. Cheng, T. Tang, J. Chen, and G. Li (2023), Acoustic Target Strength of Jellyfish, Nemopilema nomurai, Measured at Multi‐Frequency and Multi‐Orientation, Journal of Applied Ichthyology, 2023(1), 6650863.
    28. Yang, M. and A. Sowmya (2015), An Underwater Color Image Quality Evaluation Metric, in IEEE Transactions on Image Processing, Vol. 24, No. 12, pp. 6062-6071, Dec. 2015,
    Copyright © The Korean Society of Marine Environment and safety. All rights reserved.
    (530-729)Mokpo National Maritime Univ., Jukgyo-dong, Mokpo-si, Jeollanam-do, Korea