1. 서 론
선박의 안전성, 효율성, 친환경성 향상을 위해 국내외적으 로 자율운항선박 개발에 많은 관심을 가지고 있다. 자율운 항선박 상용화에 필요한 기술들 중 충돌상황을 예측하고 회 피 방안을 제시하기 위한 장애물 탐지 기술은 필수적이다.
특히 우리나라 연안은 지리적 특성으로 양식어업이 발전하 여 그 규모가 점차 확대되고 있다. 이에 Kang and Jung(2022a) 은 연안에서 가장 흔히 볼 수 있는 양식장 부표를 탐지할 수 있는 모델을 만들고, 얻어진 영상좌표의 기하학적 해석을 통 해 카메라로부터 떨어진 물체의 거리와 방위를 측정할 수 있 는 YOLO 알고리즘 기반 해상물체탐지시스템을 제시하였다.
해상물체탐지시스템은 해상물체가 수면과 맞닿아 있는 수면좌표와 카메라 자세추정을 통해 물체의 거리와 방위를 계산하는데, 자율주행차량 주행 환경 인식기술에 사용되는 스테레오 비전(Stereo Vision)과 성능을 비교한 결과 스테레오 비전보다 먼 거리에 떨어진 물체를 잘 탐지할 수 있고 계산 의 정확도가 뛰어났다(Kang and Jung, 2022b).
유체 위에 떠있는 물체는 유체의 움직임으로 인해 다양한 위치변화가 발생한다. 해상물체탐지시스템은 선체운동으로 인한 오차를 보정하기 위해 3축 짐벌이 장착되어 있다. 이를 통하여 선체의 경사에 대해서는 보정이 가능하지만 파도에 의한 카메라와 해상물체의 상하운동으로 발생하는 거리오 차를 보정하지 못하는 한계가 있다. 파도에 의한 수면좌표 의 상하이동을 시계열로 나타내면 파형을 띠게 되는데, 이 는 물체의 상하운동으로 발생하는 거리오차라는 잡음이 포 함된 신호로 가정될 수 있다. 그리고 이러한 오차가 포함된 신호로부터 원하는 정보를 추출하기 위해서 여러 분야에서 필터를 이용하고 있다.
Yu et al.(2020)는 산업현장에서 사용하는 각종 설비 및 센 서에서 발생하는 노이즈 등으로 인하여 측정된 전력 테이터 의 손실 및 변조로 인한 최대 전력수요를 예측하는데 어려 움을 해소하기 위해 평균필터 조합을 통한 최대 수요전력 예측기법을 제안하였다. 그리고 Gao and Kim(2011)는 영상신 호 처리과정에서 다양한 잡음에 의해 영상의 열화가 발생하 는 것을 제거하기 위해 마스크 내의 각 화소값의 표준편차 를 기반으로 가중치를 구하고 평균치를 출력영상의 화소값 으로 나타내는 변형된 평균필터를 제안하였다. Lee(2017)은 영상데이터를 획득하거나 저장하는 과정에서 주변 환경이 나 장치의 특성에 따라 발생하는 잡음들이 복합적으로 작용 하는 복합 잡음을 저감할 수 있는 반복가중평균필터를 제안 하였다.
기존 연구들에서 사용된 필터는 데이터에 포함된 잡음을 제거하면서 데이터의 변화를 반영하기 때문에 해상물체탐지 시스템에 적용 시 물체의 상하운동으로 인한 이미지 좌표의 변화를 제거하기는 힘들다. 반면, 데이터의 평균을 이용하는 평균필터와 이동평균필터는 평온한 상태의 수면좌표를 구할 수 있다. 이에 본 연구에서는 외부환경에 따른 수면의 움직 임으로 발생하는 해상물체탐지시스템의 거리오차를 분석하 고, 이를 평균필터와 이동평균필터로 보정하고자 한다.
2. 해상물체탐지시스템
2.1 시스템 구성
해상물체탐지시스템은 Fig. 1과 같이 구성된다. 우선, 카메 라 캘리브레이션을 통해 카메라 내·외부 파라미터를 추정한 다. 그리고 카메라로 3차원 공간을 2차원 영상 평면으로 투 영함과 동시에 YOLO 알고리즘으로 Fig. 2와 같이 해상물체 를 탐지한다. 탐지된 해상물체의 영상좌표를 추출한 후, 3차 원 투영 변환식을 이용하여 카메라로부터 떨어진 물표의 거 리와 방위를 계산하고 그 결과를 Fig. 3과 같이 레이더 영상 과 같이 시각화하여 나타낸다.
2.2 투영 변환식
수면에 떠있는 물체의 수면좌표(PS )는 Fig. 4와 같이 카메 라에 의해 영상평면의 한 지점 p에 투영된다. 투영선 상에 있는 지점들 중 정규평면에 투영되는 지점은 월드 좌표계상 으로는 PW , 카메라 좌표계상으로는 PC 로 표현될 수 있다. 이때 투영선 상의 임의의 지점 P = (X, Y, Z)와 이미지 평 상의 지점 p = (x, y)는 식(1)과 같은 관계를 가진다(Hartley and Zisserman, 2003).
여기서, s는 척도 인자(scaling factor)를 의미하고 fx, fy 는 카메라 초점거리를, cx , cy는 주점을 의미하며, skew_c 는 이미지 센서의 기울어진 정도를 의미하는 비대칭 계수로 최근에 제작되는 카메라는 오차가 거의 없어 0으로 간주하 기도 한다. fx , fy , cx , cy , skew_c로 구성된 행렬을 K , 카 메라 내부 파라미터라 한다. Tpers(1)는 카메라 좌표계상의 3D 좌표를 Zc = 1인 정규이미지 평면으로 투영시키는 projection matrix이다. R , t 는 월드 좌표계를 카메라 좌표계 로 바꿔주는 회전 행렬, 변위 행렬을 의미하고 합해서 카메 라 외부 파라미터라 부른다. 식(1)에 따라 PW 와 PC 는 식 (2)와 같은 관계를 가지고 PC = (u, υ, 1) 와 p = (x, y)는 식(3)과 같은 관계를 갖는다.
카메라 내부, 외부 파라미터 값을 알고 영상 평면상의 지 점 p의 좌표를 알면 식(2), 식(3)을 이용하여 PW 의 좌표를 구할 수 있다. 또한 카메라 초점 C 의 위치를 카메라 좌표계 로 나타내면 (0, 0, 0)으로 식(2)를 이용하여 월드 좌표계로 변환할 수 있다. 이때 C , p, PW , PS 는 같은 투영선 위에 있어 식(4)와 같은 관계를 갖는다.
여기서 k는 임의의 상수로 PS = (X, Y, Z)가 수면좌표 라는 제한조건(Z = 0)에 부합되는 값은 유일하기 때문에 PS 의 좌표 값을 얻을 수 있고, 식(5)와 같이 카메라로부터 수면 위의 지점 PS 까지의 거리(Dm )와 방위(θm )를 계산할 수 있다.
2.3 카메라 캘리브레이션
투영 변환식에 따라 영상 평면상에 투영된 지점과 3차원 공간 좌표계간의 관계를 파악할 때 카메라 내·외부 파라미 터 정보가 필요하고 해당 파라미터들을 추정하는 과정을 카 메라 캘리브레이션이라 한다. 가장 보편화된 카메라 캘리브 레이션 방법은 Zhang의 방법으로 Fig. 5와 같은 체커보드 패 턴을 활용하여 진행한다(Zhang, 2000). 본 연구에서는 Zhang 의 방법이 적용되어 널리 사용되는 OpenCV를 이용하여 카 메라 캘리브레이션을 실시하였다.
3. 오차 보정
3.1 거리오차
해상물체탐지시스템으로 Fig. 6과 같이 물체의 수면좌표 PS 까지의 거리와 방위를 계산할 때 외부요인으로 인해 수 면이 상승 또는 하강함에 따라 PS 가 아닌 PH 까지의 거리 와 방위를 계산하게 된다. 그리고 식(6)과 같은 거리오차 (Derror )가 발생하게 된다.
여기서, Dm , Dm ′은 카메라(C )로부터 PS , PH 까지의 거 리를 의미하고, h는 수면으로부터 카메라가 설치된 높이, h′는 수면의 변화량을 의미한다. 같은 수면의 변화량에도 수면으로부터 카메라가 설치된 높이가 낮고 멀리 떨어진 물 체일수록 거리오차가 커짐을 알 수 있다.
3.2 평균필터
수면의 변화에 따른 Dm ′의 변화를 시계열로 나타내면 파형을 띠게 된다. 이때 식(7)과 같이 입력된 값들의 평균을 재귀식으로 산출하는 평균필터를 이용함으로써 새롭게 입 력된 Dm ′ 값으로 부터 Dm 을 예측할 수 있다(Kim, 2019).
여기서, xa은 평균필터에 의한 Dm 의 예측값, k는 입력 된 데이터의 개수, xk-1은 입력된 데이터의 직전 평균값, xk는 새롭게 입력된 데이터를 의미한다. 평균필터는 입력 데이터에서 잡음을 제거할 수 있지만 데이터의 동적인 변화 를 나타내지 못하는 한계가 있다.
3.3 이동평균필터
이동평균필터는 평균필터처럼 입력된 모든 데이터의 평 균을 산출하는 것이 아니고 식(8)과 같이 지정된 개수의 입 력 데이터의 평균을 재귀식으로 계산하여 데이터의 동적변 화를 반영한다(Lee, 2022).
여기서, xma은 이동평균필터에 의한 Dm 의 예측값, xk-1은 입력된 데이터의 직전 이동평균값, n 이동평균계 산에 지정된 데이터 개수, xk는 새롭게 입력된 데이터, xk-n는 k - n번째 입력 데이터를 의미한다.
4. 실험 방법
4.1 YOLOv5
YOLO 알고리즘은 2015년 v1을 시작으로 계속적으로 발전 하여 2020년에 v5가 공개되었다(YOLOv5, 2021). 본 연구에서 는 해상물체탐지시스템에 적용된 Table 1과 같은 매개변수 의 조건에서 YOLOv5로 학습시킨 양식장 부표를 탐지할 수 있는 모델을 사용하였다(Kang and Jung, 2022b). YOLOv5는 Fig. 7과 같이 입력된 영향으로부터 피처를 추출하는 Backbone, 추출된 피처를 융합하는 Neck, 객체를 탐지하는 Head의 3단계 를 거쳐 영상 속 물체를 탐지한다. 모델 학습 시, 훈련용 데이 터 중 무작위로 4개를 선택하여 하나의 이미지로 만들어 학 습시킴으로써 batch size를 증가시키고 객체의 scale을 변경시 켜 작은 물체 탐지능력을 향상시켜 주는 mosaic augmentation 기법을 사용하였다.
4.2 하드웨어 구성
실험에 사용된 GPU는 Nvidia GeForce RTX 3070i 모델이며, CUDA 11.6, Pytorch 1.12.1, Python 3.9 환경에서 실험을 진행 하였다. S사의 ZED2 스테레오 카메라의 좌안에 해상물체시 스템을 적용시켰으며, 카메라 상세는 Table 2와 같다. 카메라 가 외부의 영향에도 항상 일정한 각도를 유지하기 위해 삼 각대와 H사의 NEXT-Q3 3축 짐벌을 Fig. 8과 같이 카메라와 연결시켰다.
4.3 실험 조건
해상에서는 양식장 부표가 특정 위치에 완전히 고정되어 있지 않으므로 파도 등으로 인하여 부표는 상승 또는 하강 운동을 하게 되며, 이로 인하여 해상물표탐지시스템은 거리 오차가 발생하게 된다. 따라서 Fig. 9와 같이 실험실에 양식 장에 사용되는 부표를 α위치에 놓고 탐지 모델로 양식장 부표의 이미지 좌표를 추출한 다음 가우시안 표준정규분포 를 따르는 500개의 난수를 가감하여 Fig. 10과 같이 불규칙 파에 의한 부표의 상승 또는 하강을 재현하였다. 거리오차 와 보정효과를 식별하기 위해 이미지 좌표의 변화에 따른 계산거리, 평균필터와 이동평균필터를 통한 예측거리를 레 이저 거리측정기에 의한 측정거리와 비교하였다. 그리고 물 체의 이동에 의한 영향을 살펴보기 위해 부표를 β위치로 이 동시킨 후 동일한 방법으로 계산거리와 예측거리를 측정거 리와 비교하였다.
5. 실험 결과
이미지 좌표의 변화에 대한 해상물체탐지시스템으로 계 산된 거리(MODS), 평균필터에 의한 예측거리(A), 이동평균 필터에 의한 예측거리(MA)를 시계열로 나타내면 Fig. 11과 같고 부표와의 거리가 α위치(phase 1) 일 때와 β위치(phase 2) 일 때로 구분되어 나타나고 있다.
5.1 phase 1
phase 1에서의 계산거리와 예측거리는 Fig. 12와 같다. 부 표가 α위치에 있을 때 레이저 거리측정기에 의한 실측거리 (Measured distance), 해상물체탐지시스템을 통한 이미지 좌표 변화가 없을 때의 계산거리 그리고 이미지 좌표 변화로 가 장 큰 차이가 있는 계산거리(Calculated distance)와 평균필터 및 이동평균필터를 통한 예측거리(Predicted distance)를 정리 하면 Table 3과 같다.
phase 1에서 이미지 좌표의 변화가 없을 때 해상물체탐지 시스템 계산거리는 1.694 m로 오차율이 1.7 %였지만, 불규칙 파에 의해 이미지 좌표의 변화가 발생한 경우에는 오차율이 최대 36.3 %로 증가하였다. 하지만 평균필터와 이동평균필터 로 거리오차를 보정하였을 때에는 오차율이 각각 3.2 %와 8.6 %로 감소되었으며, 평균필터가 더 우수한 성능을 보였다.
5.2 phase 2
phase 2에서의 계산거리와 예측거리는 Fig. 13과 같다. 부 표가 β위치에 있을 때 레이저 거리측정기에 의한 실측거리, 이미지 좌표 변화가 없을 때의 계산거리 그리고 이미지 좌 표 변화로 가장 큰 차이가 있는 계산거리와 평균필터와 이 동평균필터 예측거리를 정리하면 Table 4와 같다.
phase 2에서 이미지 좌표의 변화가 없을 때에는 계산거리 는 3.261 m로 오차율이 0.8 %였지만, 불규칙파에 의한 이미지 좌표의 변화로 오차율이 최대 98.5 %로 증가하였다. 평균필 터는 phase 1에서는 높은 오차 보정능력을 보여주었지만, phase 2에서는 Fig. 11에서 나타나듯이 부표가 α에서 β로 위 치가 변화되어 생기는 거리 변화도 거리오차로 간주함으로 써 거리오차를 신속하게 보정하지 못하였다. 하지만 이동평 균필터의 경우 부표의 위치변화에 신속히 반응하면서 거리 오차를 보정하여 오차율이 16.3 %로 나타났다.
6. 결 론
양식장 부표 등과 같은 해상의 소형 장애물을 탐지하고 거리와 방위를 시각화시켜 주는 해상물체탐지시스템은 선 체운동으로 인한 오차를 보정하기 위해 3축 짐벌이 장착되 어 있지만 파도 등에 의한 카메라와 해상물체의 상하운동으 로 발생하는 거리오차를 보정하지 못하는 한계가 있다. 이 에 본 연구에서는 외부환경에 따른 수면의 움직임으로 발생 하는 해상물체탐지시스템의 거리오차를 분석하였으며, 이를 평균필터와 이동평균필터를 적용하여 거리오차 보정 가능 성을 살펴보았다.
-
1) 해상에서는 양식장 부표가 파도 등으로 인하여 상승 또는 하강운동을 하게 되며, 가우시안 표준정규분포를 따르 는 난수를 이미지 좌표에 가감하여 불규칙파에 의한 부표의 상승 또는 하강을 재현하였다.
-
2) 이미지 좌표의 변화에 따른 계산거리, 평균필터와 이동 평균필터를 통한 예측거리 그리고 레이저 거리측정기에 의 한 실측거리를 비교하였다. 그리고 물체의 이동에 의한 영 향을 살펴보기 위해 부표를 이동시킨 후 동일한 과정을 반 복하여 거리를 상호 비교하였다.
-
3) phase 1에서 이미지 좌표의 변화가 없을 때에는 해상물 체탐지시스템 계산거리는 1.694 m로 오차율이 1.7 %였지만, 불규칙파에 의해 이미지 좌표의 변화가 발생한 경우에는 오 차율이 최대 36.3 %로 증가하였다. 하지만 평균필터와 이동 평균필터로 거리오차를 보정하였을 때에는 오차율이 각각 3.2 %와 8.6 %로 감소되었다.
-
4) phase 2에서 이미지 좌표의 변화가 없을 때에는 계산거 리는 3.261 m로 오차율이 0.8 %였지만, 불규칙파에 의한 이미 지 좌표의 변화로 오차율이 최대 98.5 %로 증가하였다. 평균 필터는 phase 1에서는 높은 오차 보정능력을 보여주었지만, phase 2에서는 부표의 위치가 변화되어 생기는 거리 변화도 거리오차로 간주함으로써 거리오차를 신속하게 보정하지 못하였다. 하지만 이동평균필터의 경우 부표의 위치변화에 신속히 반응하면서 거리오차를 보정하여 오차율이 16.3 %로 나타났다.
-
5) 오차보정 능력은 평균필터가 더 좋았지만 실제 거리변 화에 반응하지 못하는 한계가 있었다. 따라서 해상물체탐지 시스템 거리오차 보정을 위해 이동평균필터를 사용하면 실 시간 거리변화에도 반응할 수 있고 오차율을 크게 개선할 수 있을 것으로 판단된다.
본 연구에서는 해상물체탐지시스템 거리오차 보정 가능 성을 살펴보기 위해 실제 해상이 아닌 다른 변수들이 통제 된 장소에서 실험하였다는 한계가 있다. 실제 해상에서는 파도 등으로 인한 상하운동뿐만 아니라 탐지된 물체의 경계 박스 모양의 변화와 같은 다른 변수들도 거리오차 발생 가 능성이 있으므로, 실선실험을 포함한 후속연구를 지속할 계 획이다.
