1.서 론

최근 지표의 70% 이상을 차지하고 있는 바다를 탐사하기 위하여 다양한 형태의 탐사장비들이 개발되고 있다. 또한, 수중 드론, 수중 카메라와 같은 다양한 형태의 수중 영상 촬 영 장비들도 개발되어 보급되고 있다. 하지만, 수중에서 촬 영한 영상은 지상에서 촬영되는 영상에 비해 상당한 화질저 하 현상을 보인다. 이는 수중에서의 환경이 지상의 환경에 비해 훨씬 열악하기 때문이다. 특히, 급격한 해류의 변화, 부 유물로 인한 탁도(turbidity) 저하, 이러한 탁도 저하로 인하여 심해까지 태양광이 전달되지 않아 발생하는 빛의 감쇄와 산 란 등으로 수중에서 영상정보를 촬영하기가 상당히 어렵거 나 촬영에 성공한다고 하더라도 왜곡되는 일이 빈번하게 발 생한다 이런 (Lee, 2017). 문제를 해결하기 위해 초음파 장치 를 이용한 수중음향 영상화와 같은 연구들이 수행되고 있 다. Cho et al.(2016)은 수중 환경에서 영상화된 이미지를 얻 기 위한 위상 배열(Phase Array)에 기반한 기술과 이 기술을 구현하기 위한 렌즈의 제작 방법을 제안하였다. 하지만, 수 중음향장비 혹은 수중카메라와 같은 단일 영상획득 장비만 으로는 고품질의 수중영상을 취득하는데 한계가 있다. 수중 음향장치를 이용한 영상화의 연구와 별개로 광학카메라를 기반으로 하는 연구도 진행되고 있다. Shin et al.(2012)은 스테 레오 카메라(stereo camera)와 깊이정보 카메라(depth camera)를 이용하여 수중 3차원 영상 콘텐츠를 제작하기 위한 영상정 보의 가시성 개선 방안에 대한 연구결과를 발표하였다. Jung et al.(2017)은 수중 초음파와 광학 영상의 하이브리드 시스템 을 이용한 교각 수중부의 손상 진단 시스템을 제안하였다. Cho et al.(2016)과 같은 연구는 수중에서 광학카메라가 갖는 한계를 극복하여 새로운 형태의 수중영상을 획득하기 위해 수중 초음파시스템을 이용하였다. Shin et al.(2012)과 Jung et al.(2017)의 연구에서는 광학카메라를 기반으로 깊이정보 카 메라와 초음파 시스템을 이용하는 하이브리드 형태의 장치 를 제안하였다.

이와 같이 수중영상 획득 및 화질개선을 위해 다양한 접 근이 시도되고 있다. 본 논문에서는 광학카메라만을 이용하 여 획득한 수중영상을 대상으로 윤곽선을 강조하는 기법을 제안하고자 한다. 이 기법을 단일 광학카메라만으로 수중영 상의 주관적인 화질을 개선한다는 점에서 기존의 연구들과 차이를 갖는다.

본 논문에서는 정박 중인 선박의 선체하부 검사를 위해 촬영한 수중영상을 윤곽선 강조 대상으로 한다. 이를 위해 비교적 탁도가 높은 선체하부의 수중영상이 지상의 안개영 상과 유사한 특성을 보이는데서 착안하여 안개영상으로부 터 안개를 제거하는 DCP(dark channel prier)(Choi et al., 2016) 알고리즘을 수중영상의 윤곽선 강조에 적용하였다. 하지만, 수중영상이 지상의 안개영상과 유사한 화소분포 특성을 보 이기는 하지만, 수중영상의 경우 대부분 녹색과 청색 계열 의 색차성분 값이 크게 나타나는 특성을 보인다. 이와 같은 특성을 분석한 후 함수화하여 DCP 알고리즘을 수중영상에 적용하기 위한 수정된 DCP 알고리즘을 개발하였다.

본 논문의 구성은 다음과 같다. 2장에서는 수중영상의 특 성을 분석하고, 이를 토대로 3장에서 수중영상의 윤곽선 강 조 알고리즘을 제안한다. 4장에서는 실제로 촬영한 선체하 부의 수중영상을 대상으로 화질개선 실험을 수행한다. 마지 막으로 5장에서 결론을 맺는다.

2.선체하부의 수중영상 분석

실험에 사용한 수중영상은 서해안에 위치하고 있는 항구 에 정박 중인 선박에서 촬영하였다. 일반적으로 우리나라 서해안은 수중 탁도가 매우 높아 30 cm 앞의 사물도 분간하 기 어려울 정도로 혼탁한 것으로 보고되고 있다. 특히, 수중 작업의 경우에는 탁도로 인해 시계가 떨어지고 사물의 위치 파악 등이 어려워 작업효율이 떨어지게 된다(Jang et al., 2015).

Fig. 1에서는 본 논문에서 선체하부의 수중영상 획득을 위 한 선박, 장비, 영상획득 과정 등을 보이고 있다. 선체의 저 항으로 공기, 조와, 조파 및 마찰저항을 들 수 있다. 선박의 마찰저항을 감소시키기 위한 방안으로 청소용 수중로봇이 활발히 연구되는 상황에서 선저검사와 청소작업은 아직도 다이버에 의존하고 있는 실정이다.

Fig. 1(a)는 본 연구의 대상이 되는 선박으로 일반적인 상 선(merchant ship)에 비해 정박시간이 길어 선체에 부착생물 이 서식하기 용이하다. 이러한 부착생물은 선체를 오손시키 고 저항과 더불어 선박의 기능을 현저히 떨어트릴 수 있다.

이러한 해양생물의 부착을 방지하는 방법으로 특화된 페 인트를 칠하거나 선저를 청소하는 방법 등이 있다. Fig. 1(b) 는 다이버가 수중에서 선저작업을 하기 위한 과정으로 산소 공급 및 작업용 압축기를 보여주고 있다. 이처럼 다이버에 의한 수중에서의 수작업이므로 비상상황에도 대비해야 하 고 통신도 원활하지 않을 뿐만 아니라 탁도에 의한 시야확 보에도 어려움이 있으므로 선저작업은 고도의 기술과 집중 력이 요구된다.

Fig. 2 Fig. 1 같은 환경에서 획득한 선체하부의 수중영상을 보이고 있다. 본 논문에서는 Fig. 2의 영상들을 분석하여 선체하부 구조물들의 윤곽선을 강조하는 기법을 제안하고자 한다. 수중영상의 분석은 Red, Green, Blue 채널 각각에 대한 히스토그램 분석과 함께 영상을 구성하는 화소 의 평균 값(mean), 표준편차(standard deviation) 분석을 병행하 였다. 또한, 수중영상에 대한 시각적 분석을 위해 색상 프로 파일(color profile) 분석을 수행하였다.

먼저 Fig. 2에서 RGB 각 채널에 대한 히스토그램 분석결과 를 보이고 있다. Fig. 2의 좌측에 있는 수중영상들을 살펴보면 영상 전반에 걸쳐 녹색과 청색 계열의 화소 비율이 상대적으 로 높은 것을 알 수 있다. 이와 같이 수중영상에서 일반적으 로 나타나는 색상분포는 해수면으로부터의 상대적인 거리와 태양광의 각 색상별 파장(wave-length)과 상관관계가 있다.

해수면으로 입사되는 태양광의 파장에 따라 적색계열의 빛들이 낮은 투과력으로 인해 수심이 깊은 곳까지 도달하지 못하고 소멸된다. 하지만, 비교적 긴 파장의 청색계열 빛은 100 m 이상 투과된다.

Fig. 2(a)~(c)를 보면 영상전체에 걸쳐 녹색계열의 색상이 강하게 분포되어 있고 블러링(blurring)이 심하게 일어나 있 어 영상 속 객체의 윤곽이 정확하게 드러나지 않고 있다. Fig. 2의 우측에 있는 히스토그램 분포도를 보면 좀 더 명확 하게 영상의 특징이 드러나다. 녹색(Green, G)과 청색(Blue, B) 계열의 화소들이 상대적으로 높은 화소 값 분포를 갖고 있는 것을 확인할 수 있다.

Table 1에서는 Fig. 2에서 보인 수중영상들의 색상별 평균 값, 표준편차, 화소의 최대/최소값 분석결과를 보이고 있다. 평균값의 경우 Fig. 2에서 보였던 히스토그램 분포와 유사한 경향성을 보이고 있고, 화소값들의 표준편차 분석에서는 명 확한 경향성을 보이지는 않았지만, 녹색과 청색계열의 색상 성분 표준편차가 대체적으로 낮게 측정이 되었다. 이는 대 체적으로 수중영상에 분포하는 녹색과 청색계열의 색상이 균일하게 분포하고 있다는 것을 의미한다.

Fig. 3에서는 수중영상의 영역별 색상분포를 분석하기 위 해 색상 프로파일 기법을 적용한 결과를 보이고 있다. 색상 프로파일 측정은 영상의 좌측상단부터 우측 하단까지 대각 선 방향으로 수행하였다. Fig. 3에 표시된 (1)~(3)번 표시는 우측의 색상 프로파일 분석결과 그래프의 가독성을 높이기 위해 실제 수중영상의 공간적인 위치정보를 표기해 둔 것이 다. Fig. 3에서 확인할 수 있듯이 배경부분(해수)에서는 녹색 과 청색성분이 상당히 높게 측정되는 것을 볼 수 있다. 객체 부분에서는 RGB 색상신호의 명확한 경향성이 나타나지는 않지만 전반적으로 녹색과 청색 성분의 비율이 높다는 것을 알 수 있다.

3.제안하는 윤곽선 강조 알고리즘

영상에서 윤곽선은 객체와 객체, 객체와 배경 사이의 경 계로 물체의 경계를 결정하는 시각적인 정보를 의미한다. 이와 같은 윤곽선 정보는 영상 내의 객체분할 및 탐색, 객체 인식, 잡음제거와 같은 화질개선 등과 같은 다양한 컴퓨터 비전 분야의 기반기술로 응용되고 있어 매우 중요한 기술로 인식되고 있다.

일반적으로 윤곽선은 물체의 화질과 직접적인 상관관계 가 있다. Fig. 4(a)의 좌측에 있는 높은 화질의 영상에서는 우 측과 같은 윤곽선 영상을 추출할 수 있다. 하지만, Fig. 4(b) 의 좌측 영상과 같이 색상왜곡과 블러링이 심하게 발생한 영상에서는 Fig. 4(b)의 우측과 같은 수준의 윤곽선 영상이 추출된다. 두 윤곽선 영상을 직접 비교해보면 그 차이는 보 다 더 명확하다.

선체하부 수중영상의 윤곽선 정보를 강조하기 위해 제안 하는 알고리즘의 순서를 Fig. 5에서 보이고 있다.

제안한 알고리즘의 전체적인 순서를 살펴보면, 수중영상 을 입력받은 후 색상 보정을 수행한다. Fig. 5의 첫 번째 과 정인 Color correction 과정을 Fig. 6에서 자세하게 보이고 있 다. 입력된 영상을 RGB 채널로 분리한 후 각각의 채널별로 평균값을 구한다. 세 개의 평균값 중에서 최대값을 구한 후 아래의 식(1)과 같은 과정에 의해 색상 보정계수 α를 구한 다. 이 값은 수중영상을 촬영하는 경우 해수면으로부터의 상대적인 거리에 따라 발생하게 되는 색상왜곡을 보정하기 위한 값이다.

식(1)에 의해 도출된 α값을 이용하여 R, G, B 각 채널에서 색상보정을 수행한다. 색상보정은 식(2)와 같은 형태로 수행 된다.

색상이 보정된 영상을 대상으로 식(3)과 같은 방식으로 dark channel을 계산한다(Narasimhan and Nayar, 2003).

여기서 y는 중심화소 x의 주변영역에 포함된 화소이고, J^C 는 입력값 J의 각각의 컬러 채널, J^dark는 J로부터 구한 dark channel을 의미한다.

이어서 아래의 식(4)로 전달량(transmission)을 찾아 윤곽선 을 강조하게 된다(Narasimhan et al., 2003).

여기서 β는 산란 계수(scattering coefficient)이고, d(x)는 화 소 x의 깊이 값을 나타낸다. 이렇게 계산된 dark channel과 전 달량을 이용하여 아래의 식(5)을 이용하여 수중영상의 윤곽 선을 강조하게 된다.

여기서 Ac는 수중영상 내에서 가장 큰 화소 값이 주변 화 소에 영향을 준 정도를 나타낸다.

4.실험결과

본 논문에서 제안한 수중영상의 윤곽선 강조 알고리즘의 성능평가는 Fig. 2에서 설명한 선체하부 수중영상을 대상으 로 수행하였다. 실험에 사용한 수중영상의 해상도는 927×693 [pixel²]의 24-bit RGB 컬러영상으로 실험영상의 외부환경 및 획득과정은 2장의 Fig. 2와 같다.

Fig. 7에서는 원본 수중영상과 함께 3장에서 제안한 색상 보정 후 획득한 영상을 보이고 있다. Fig. 7의 좌측영상은 원 본 수중영상이고, 우측의 영상이 색상 보정계수 α를 적용하 여 획득한 영상이다. Fig. 7과 같이 α 값은 입력영상에 따라 다른 값들로 설정이 된다. 시각적으로 확인할 수 있듯이 선 체하부의 원래 색상과 상당히 유사한 색상이 복원된 것을 볼 수 있다. 특히, Fig. 7(d)와 같이 영상 내에서 차지하는 선 체하부 영역이 넓고 조명 환경이 양호한 경우 더 향상된 결 과를 얻을 수 있다.

Fig. 8에서는 본 논문에서 제안한 선체하부의 수중영상 윤 곽선 강조 기법을 적용한 결과영상들을 보이고 있다. Fig. 8 의 좌측영상은 원본 수중영상, 중간영상은 기존의 DCP 알고 리즘을 적용한 결과, 우측영상은 본 논문에서 제안한 알고 리즘을 적용한 결과이다. 원본 입력영상과 비교하면 영상 전반에 걸쳐 색상과 경계선 부분의 윤곽이 상당히 향상된 것을 확인할 수 있다. 또한, 기존의 DCP 알고리즘의 적영결 과와 비교할 경우에도 색상이 상당히 보정이 되었고, 윤곽 선 부분도 훨씬 뚜렷해진 것을 확인할 수 있다. 실험영상 1~3과 같이 영상 내에 해수가 차지하는 영역이 넓은 경우 주관적인 화질평가에서 상당히 높은 점수를 줄 수 있을 정 도의 수준이다. 실험영상 4와 같이 영상의 대부분을 선체영 역이 차지하는 경우에는 앞서 설명한 실험영상들에 비해 상 대적으로 주관적인 화질향상은 떨어져 보이지만 색상과 윤 곽선의 개선정도는 확연하게 구분이 된다.

Fig. 9 Fig. 8 영상의 일부분을 확대하여 보이고 있 다. 좀 더 정확한 비교를 위해 수중영상 촬영당시 영상분류 및 안내를 위해 사용한 영상 정보판 부분을 확대하였다. Fig. 9(a)의 좌측상단은 기존의 DCP 알고리즘을 적용한 결과영상, 우측상단은 본 논문에서 제안한 알고리즘을 적용한 결과이 다. Fig. 9(a)의 좌측하단의 영상은 좌측상단 영상의 윤곽선 영상, 우측하단은 우측상단 영상의 윤곽선 영상이다. Fig. 9 의 상단에 있는 영상들을 시각적으로 비교해 보면 본 논문 에서 제안하는 알고리즘의 우수성을 확인할 수 있다. 본 논 문에서 제안하는 윤곽선 강조 기법의 정량적인 평가는 원본 수중영상, 기존의 DCP 알고리즘이 적용된 영상, 제안된 색 상보정 윤곽선 강조 기법이 적용된 영상의 윤곽선 영상을 추출한 후 윤곽선 영상(edge-map)에서 수행하였다. Table 2에 서 정량적인 평가결과를 보이고 있다. Table 2에서 Original Image는 원본 수중영상, DCP는 기존의 DCP 알고리즘을 적 용한 결과, Proposed는 본 논문에서 제안한 윤곽선 강조 기법 을 적용한 결과이다. Table 2의 가장 우측에 있는 화소 개수 (# of pixels)는 윤곽선 영상을 이진영상으로 변환한 후 ‘0’값 (block)을 갖는 화소의 개수 의미한다. 즉, 이 수치는 실제로 윤곽선을 구성하는 유효 화소수를 의미하므로, 이 수치가 높을수록 영상 내의 윤곽선 수가 증가하였음을 나타낸다. Table 2에서 확인할 수 있듯이 본 논문에서 제안한 알고리즘 의 경우 원본 수중영상 대비 3.39% 윤곽선의 양이 증가하였 고, 기존의 DCP 알고리즘과 비교하였을 경우 약 0.27% 증가 한 것을 확인할 수 있었다.

5.결 론

수중의 경우 해수와 각종 부유물 등으로 인해 태양광이 충분히 전달되지 않아 광학 카메라를 이용하여 수중영상을 촬영할 경우 심한 왜곡현상이 발생한다. 특히, 녹색과 청색 계열의 색상이 지나치게 강조되는 색상왜곡이 심하게 발생 하고, 해수에 의한 빛의 굴절과 각종 부유물로 인하여 객체 의 경계선 부분에서도 상당한 왜곡현상이 발생한다. 이런 왜곡들로 인해 수중영상의 전반적인 화질이 저하된다.

본 논문에서는 정박 중인 선박의 하부를 촬영한 수중영상 을 대상으로 영상분석을 수행하였고, 그 결과를 토대로 색 상을 개선하고 더 나아가 윤곽선을 강조할 수 있는 기법을 제안하였다. 실험결과 제안한 기법을 적용할 경우 원본 수 중영상의 유효 윤곽선보다 3.39% 정도 윤곽선의 수가 증가 하는 것을 확인할 수 있었다. 이와 같은 정량적인 평가와 함 께 영상의 주관적인 화질평가를 병행한 결과 제안한 색상보 정 기반 윤곽선 강조 기법이 수중영상의 화질개선에 있어 상당히 의미 있는 결과를 도출할 수 있음을 확인하였다.

본 논문에서 분석한 수중영상은 수심 10~20 m 정도에서 촬영된 영상으로 RGB 색상 중에서 R성분만이 제거된 결과 이다. 만약 더 깊은 수심에서 촬영된 영상을 대상으로 분석 한다면 본 논문에서 도출한 분석결과와는 다소 상이한 결과 가 나올 수 있다. 향후 본 연구팀은 다양한 수심에서 촬영한 수중영상을 대상으로 영상분석을 수행한 후 본 논문에서 제 안한 수중영상 색상보정 및 윤곽선 강조 알고리즘을 개선해 나갈 예정이다.