1. 서 론

우리나라 해양생태계 현황 및 변화 등을 조사하여 지속적으로 해양을 이용할 수 있도록 하며, 해양생태를 보전하고 관리할 수 있도록 국가 해양생태계 종합조사를 해양수산부의 위탁을 받아 해양환경공단에서 진행하고 있다.

국가 해양생태계 종합조사는 기본조사와 중점조사에 따른 각각의 조사위치(정점)를 설정하여 진행하며, 기본조사를 위해 설정된 정점은 국내 해역을 동해와 동남해, 서해와 서 남해 2개 권역으로 구분하여 격년별로 조사하고, 중점조사 를 위해 설정된 정점은 매년 조사하고 있다(KOEM, 2022).

국가 해양생태계 종합조사의 주요 분석 방법으로는 시료를 채집하여 분석하는 방식이지만, 조사 대상에 따라 시료를 채집할 수 있는 암반이나 시설이 없어서 정점을 설정할 수 없는 해역으로 인해 해양생태계를 정밀하게 조사하기 어렵다(MOF, KOEM, 2022).

국가 해양생태계 종합조사는 한반도 주변 해역의 생태계 변화를 조사하고 있지만, 정점이 연안을 중심으로 설정돼 근해역 등 조사범위 확대가 필요한 실정이다.

한편, 해양수산부 항로표지과에서는 해양환경공단과 협의하여 선정된 항로표지를 조사정점으로 활용하여 시료와 사진을 제공함으로써 국가 해양생태계 종합조사를 지원하여 항로표지의 활용 가치를 증대하고 있지만, 매년 정점으로 활용되는 항로표지는 10기 미만으로 조사되었다.

통항 선박의 안전을 지원하기 위해 주요 항로에 설치된 항로표지는 매 2 ~ 3년 주기로 부표정비선에 의해 인양 점검 되고 있으며, 인양점검 시 항로표지에 부착된 해양생물(해조류, 패각류 등)의 시료 및 사진을 해양환경공단에 제공하여 2020년부터 시범적으로 수행하고 있는 “(등)부표 부착생물 모니터링”을 지원하고 있다(MOF, 2020).

따라서 한반도 주변 해역을 정밀하게 조사하기 위해서는 등부표(항로표지)를 조사정점으로 활용한다면 조사해역을 확대하여 해양생태계를 정밀하게 조사할 수 있다.

이에 국내 연근해 해역의 조사정점으로 활용 가능한 부표, 등부표로 구성된 이동 표지를 등대표에서 조사한 결과, 1,832기의 이동 표지가 조사되었다(KHOA, 2022).

다음의 Fig. 1은 이동 표지 1,832기의 위치를 전자해도상에 도식화 한 것으로 이동 표지의 대부분이 연근해 해역에 위치하는 것으로 분석되었다.

등부표를 국가 해양생태계 종합조사의 조사정점으로 활용한다면 한반도 주변 전체해역에 대한 기후변화, 생물다양성 등의 환경 및 생태계 변화를 유추할 수 있으며, 변화 추세를 분석할 수 있다.

하지만 등부표 인양점검 작업 시 흔들리는 선박의 좁은 공간에서 중량의 등부표를 고정하여 사진을 촬영하므로 안전사고가 발생할 수 있는 매우 위험한 작업이며, 등부표 인양 후 부착생물을 제거하므로 사진 촬영의 시간에 제약이 따른다.

또한 해양환경공단에 제공되는 사진은 등부표에 부착된 생물이 많은 곳을 중심으로 1 ~ 2 m 떨어진 곳에서 사진을 촬영하며, 부착된 생물의 점유 면적을 산출하기 위해 40 ㎝ × 40 ㎝ 정방형 격자를 등부표와 인접하게 붙여서 사진을 촬영 하는 추가 작업으로 인해 어려움이 발생한다.

Fig. 2는 중량의 등부표를 부표정비선에 고정한 사진이며, 부착생물 촬영을 위해 부착생물이 많은 곳을 찾고 정방형 격자가 포함된 사진을 촬영한 후 부착생물을 제거한다.

이에 등부표 부착생물 사진의 안전하고 효율적인 획득을 위해 시범적으로 액션카메라를 활용하여 동영상을 촬영했 으나 동영상의 특성상 비슷한 여러 장의 사진이 모여 있으며, 등부표의 다양한 곳을 촬영했기 때문에 부착생물을 분석할 순간은 수동으로 판단해야 했다.

따라서 등부표에 부착된 생물의 동영상을 이용하여 자동으로 부착생물 정보를 분석하도록 해양생태정보 시스템을 구현함으로써 항로표지를 국가 해양생태계 종합조사의 조 사정점으로 활용할 수 있도록 하는 것이 본 연구의 목적이며, 기대효과는 국가 해양생태계 종합조사의 조사정점이 확 대됨으로써 항로표지의 활용 가치를 높이고, 우리나라 근해의 생태계 분포 현황 및 추세를 분석할 수 있는 기초자료로 활용할 수 있다.

연구 방법은 첫 번째로 부착생물 사진을 자동으로 분석하고 정보를 생성하는 딥러닝 기반의 부착생물 정보 생성 모듈을 구현하고, 두 번째로 부착생물 동영상에서 분석할 장 면을 자동으로 추출하는 알고리즘을 생성하며, 세 번째로 해양환경공단의 “(등)부표 부착생물 모니터링” 분석 결과를 활용하여 부착생물 정보 생성 모듈의 성능을 확인하는 것으로 나누어 진행했다.

2. 부착생물 정보 생성 모듈 구현

등부표를 국가 해양생태계 종합조사의 정점으로 활용할 수 있도록 등부표 인양점검 시 촬영된 동영상을 이용하여 부착생물 정보를 자동으로 분석하고 생성하는 개념으로 모듈을 구현했다.

2.1 부착생물 정보 생성 모듈 개념

기존 부착생물 분석정보는 우점종(부착생물의 종명)과 우점도(점유 면적)의 정보로 구성되며, 사진 또는 동영상의 분석을 통해 생성해야 하는 정보이다.

이에 부착생물 분석정보인 우점종과 우점도 정보는 딥러닝(Deep Learning) 기반의 객체 검출(Object Detection) 알고리즘을 이용하여 우점종인 부착생물을 식별하고 우점종의 점유 면적을 측정하여 정보를 생성하도록 했다.

특히 우점종의 점유 면적 정보를 생성하기 위해서 여러 객체 검출 알고리즘 중에서 사각형(Bounding Box)이 아닌 다각형(Polygon)의 형태로 검출된 객체를 표시할 수 있는 Yolo(You Only Look Once)_v8을 이용했다.

부착생물 정보 생성 모듈은 항로표지 인양점검 시 촬영된 사진과 Yolo_v8을 활용하여 부착생물을 검출할 수 있는 학습모델, 인양점검 시 촬영된 동영상에서 분석할 장면을 자 동으로 선택하는 알고리즘으로 구성된다.

Fig. 3은 부착생물 정보 생성 모듈의 개념도이며, 등부표 인양점검 시 촬영된 동영상을 입력받고, 분석할 장면을 자 동으로 추출하여, 학습모델을 이용하여 등부표 부착생물 정 보를 분석하고 부착생물 정보를 생성하는 개념이다.

2.2 부착생물 검출을 위한 학습모델 생성

국내 연근해 해역에서는 다양한 종이 서식하고 있으며, 2021년 국가 해양생태계 종합조사 해양생태총서에 따르면 홍합 및 따개비와 같은 암반무척추동물 총 578종, 파래 및 미역과 같은 해조류 총 213종이 확인되었다(MOF, 2022).

한편 해양환경공단에서는 2020년부터 “(등)부표 부착생물 모니터링” 조사를 수행하고 있으며, 2020년부터 2022년까지 조사 보고서를 분석한 결과, 2020년 6개 정점에서 3종의 우점종, 2021년 11개의 정점에서 5종의 우점종, 2022년 10개의 정점에서 7종의 우점종이 관측되었다.

Table 1은 2020년부터 2022년까지 수행된 “(등)부표 부착생 물 모니터링” 조사 보고서의 내용 중 연도별 우점종이 관측 된 횟수를 요약한 것이며, 담치, 파래류, 따개비, 미역류, 민조개삿갓, 미끌도박이 많이 관측되었다.

다양한 생물이 국내 연근해 해역에 서식하고 있는 것으로 분석됨에 따라 본 연구에서는 등부표에 주로 서식하는 부착 생물을 중심으로 학습모델을 구현했으며, 구현한 5종(담치, 파래, 따개비, 미역, 민조개삿갓)의 학습모델은 등부표에서 관측된 우점종의 횟수와 인양점검 시 촬영된 사진에 포함된 부착생물을 고려하여 정했다.

“(등)부표 부착생물 모니터링” 조사에서 많이 관측된 5종 의 학습모델을 생성하기 위해서 항로표지 인양점검 시 촬영 된 사진을 이용하여 부착생물 종별로 학습이미지 650장, 테스트이미지 250장으로 데이터 셋을 구성했다.

Fig. 4는 인양점검 중인 부표 사진과 학습에 사용한 부착 생물 사진으로 부착생물 사진에는 부착생물의 면적을 측정 할 수 있는 정방형 격자가 포함되어 있다.

부착생물 정보 생성용 학습모델을 생성하기 위해서 사용 한 주요 SW 및 HW의 사양은 Table 2와 같으며, Fig. 5는 파이슨 기반의 Labelme를 이용하여 딥러닝 알고리즘이 스스로 학습할 수 있는 형태로 가공하는 라벨링 화면이다.

학습모델의 학습 속도와 양을 최적화하기 위해서 손실함수(Loss Function)를 사용했으며, 손실함수는 학습모델이 예측한 부착생물의 종 및 영역과 실제 부착생물의 종 및 영역이 일치하는지 확인하는 함수로 손실(Loss)인 인식 오차가 적을 수록 학습이 잘 진행된 것이다.

Fig. 6에서는 손실함수를 통해서 학습이 진행될수록 인식 오차가 줄어드는 것을 나타내고 있으며, 학습(Training)과 검증(Validation)이 유사한 추세로 인식 오차가 줄어들고 있는 것을 알 수 있다.

혼동행렬(Confusion matrix)은 모델의 성능을 평가할 때 사용되는 지표로서 Table 3과 같으며, 부착생물이 아닌 이미지 를 부착생물이 아닌 것으로 예측하면 TN, 실제 부착생물 이 미지를 부착생물로 예측한다면 TP, 부착생물 이미지를 부착 생물이 아니라고 예측하면 FN, 부착생물이 아닌 이미지를 부착생물이라고 예측하면 FP로 나타낸다(Kong, 2022).

혼동행렬을 이용하여 학습모델이 부착생물을 정확하게 예측하는지를 측정하기 위해 정밀도(Precision)와 재현율(Recall) 을 평가지표로 활용했으며, 정밀도는 학습모델이 부착생물 이라고 예측한 것이 실제 부착생물인 경우의 비율이며, 재 현율은 실제 부착생물 중에 학습모델이 부착생물이라고 예측한 것의 비율이며, 아래의 식(1)과 (2)에 의해서 측정했다.

학습모델이 5종의 부착생물을 식별할 수 있도록 학습시켰으며, 정밀도와 재현율을 이용하여 부착생물을 식별하는 성능을 평가했으며 약 81.5 %로 평가되었다. Fig. 7은 정밀도와 재현율을 이용하여 성능을 평가한 결과를 그래프로 표시한 Precision-Recall Curve다.

2.3 동영상에서 분석할 프레임 자동 식별 알고리즘 구현

인양점검 시 등부표를 촬영한 사진으로 부착생물 정보를 생성하지만, 해역에서 안전하고 신속한 인양점검 작업을 지원하기 위해 부착생물 사진을 동영상(초당 60프레임의 5.3 K 해상도)으로 대체하여 효율적인 사진 촬영과 촬영 시간을 단축할 수 있도록 했다.

사진은 학습모델에서 자동으로 분석할 수 있지만, 동영상은 분석할 프레임을 수동으로 식별해야 하므로, 동영상에서 학습모델이 분석해야 할 프레임을 자동으로 식별할 수 있도록 2단계로 구성된 알고리즘을 구현했다.

1단계는 등부표의 여러 곳이 촬영된 동영상에서 분석할 프레임이 포함된 구간을 자동으로 판단하는 단계로서 정방형 격자를 인식할 수 있는 학습모델을 생성하여 동영상에서 정방형 격자가 포함된 구간을 식별할 수 있도록 했다.

2단계는 1단계에서 식별된 구간 중에서 부착생물을 식별 하는 학습모델이 분석할 1개의 프레임을 추출하는 단계로서 여러 장의 유사한 프레임이 연속적으로 이어져 있는 구간 중 에서 정방형 격자의 면적이 가장 넓은 프레임을 추출하여 부 착생물 정보 생성에 활용했으며, 정방형 격자는 40 ㎝ × 40㎝ 의 정사각형이므로 정방형 격자의 면적이 최대일 때 쵤영한 거리가 가깝거나 사진의 왜곡이 적어서 부착생물을 분석하 기 위한 최적인 것으로 조사되었다.

정방형 격자의 면적은 아래의 식(3)에 의해 측정했으며, 정방형 격자의 각 변은 a, b, c, d이며 A는 a, d 변이 이루는 각도, C는 b, c 변이 이루는 각도이다.

Fig. 8은 동영상에서 분석할 프레임을 자동으로 식별하는 알고리즘을 이용하여 정방형 격자가 포함된 프레임을 식별한 것이며, 식별된 프레임 중에서 정방형 격자의 면적을 측정하여 마지막 프레임을 해양생태 정보 생성을 위한 프레임으로 식별했다.

3. 생태정보 분석 및 생성 결과 검증

학습모델에서 생성되는 부착생물 정보는 json 형식의 파일과 사진 파일로 생성된다.

마라도 기상 등부표의 부착생물을 분석한 결과 생성된 정보는 다음의 Fig. 9와 같으며, json 파일은 부착생물의 종류 (Class), 부착생물 외곽좌표(pol)의 위치들(x, y), 식별된 객체 의 면적 비율(%)로 구성되며, 부착생물 사진은 민조개삿갓의 위치와 점유 면적을 시각적으로 표시한 것으로 분석 사진에 민조개삿갓의 외곽선을 표시한 사진이다.

부착생물 외곽좌표는 식별한 민조개삿갓의 외곽선을 구성하는 점들로 외곽선을 이용하여 민조개삿갓이 점유하는 면적이 약 25 %로 분석되었다.

학습모델의 부착생물 분류 정확도를 검증하기 위해서 해양환경공단에서 2020년부터 2022년까지 진행한 “(등)부표 모 니터링” 조사의 분석 결과와 학습모델이 분석한 결과를 비교하여 우점종과 우점도(%)를 Table 4와 같이 정리했으며, 부이의 명칭은 등대표의 영문명으로 기재했다.

분석내용을 비교한 결과 본 연구에서 생성된 학습모델이 부착생물을 식별하는 정확도는 약 90 %의 수준으로 조사되 었지만, 덕산항 해경 경계선 등부표의 경우에는 담치표면에 따개비가 있음에 따라 담치를 정확히 식별하지 못한 것으로 분석되었다.

부착생물이 군집하여 인간의 시각으로도 정확하게 부착 생물을 식별하기 어려운 경우, 부착생물의 표면에 이물질이 있는 경우, 부착생물의 형태는 유사하지만 종이 다를 경우 부착생물을 정확하게 식별하지 못하는 것으로 조사되어 추 가 학습이 필요한 것으로 분석되었다.

4. 결 론

본 연구에서는 5종의 부착생물을 식별할 수 있는 학습모델을 Yolo_v8을 이용하여 구현했으며, 인양점검 시 사진 촬영에 따른 안전사고 예방과 작업시간 단축을 위해 동영상에서 부착생물 정보를 분석할 수 있는 알고리즘을 구현했다.

해양환경공단에서 작성한 “(등)부표 모니터링”의 결과 보고서를 활용하여 검증한 학습모델의 부착생물 분류 정확도 는 약 90 %이며, 등부표 인양점검 시 촬영한 동영상을 이용 하여 부착생물 정보를 자동으로 생성하는 것으로 조사되어, 등부표를 국가 해양생태계 종합조사의 조사정점으로 활용 가능한 것으로 분석되었으며, 필요시 촬영된 동영상을 이용 하여 수동으로 해양생태계 정보를 분석할 수 있다.

하지만, 부착생물 식별의 정확도를 높이기 위해 지속적인 학습이 필요하고 국내 연근해 해역에서 관측된 다양한 종을 식별하기 위해서 추가적인 학습모델의 생성이 필요하다.

한편 등부표의 표면에 사용되는 방오도료가 부착생물에 미치는 영향을 검토하여 조사정점으로 활용 가능성을 추가로 검토할 필요가 있다.

등부표(항로표지)를 국가 해양생태계 종합조사의 정점으로 활용한다면, 한반도 주변 해역의 생태정보를 이용하여 해역의 환경(수온, 물리적 외력 유무 등)을 추정할 수 있으며, 환경 변화 추세를 파악할 수 있는 기초자료로 활용할 수 있다. 또한 항로표지의 활용 가치를 높일 수 있다.