1.서 론

장기 운항 중인 항해사의 피로도(Fatigue)는 일반적으로 승 선중인 선종, 항로, 항해기간, 입출항 횟수, 정박기간의 불규 칙성 등과 같이 다양한 피로유발 요인에 의해서 발생한다. 또한, 승선 중 직면하게 되는 장시간에 걸친 정신적, 육체적 노동으로 인하여 발생하는 수면부족과 스트레스, 정신적․ 육체적인 작업부하 등의 원인에 의해서 증가 또는 누적된다 (Yang, 2009; Yang, 2012).

이러한 이유에서 누적된 항해사의 피로도는 당직근무 중 안전운항에 필요한 업무수행능력을 저하시키고 상대선박과 긴박한 상황에서 저지르는 실수, 판단착오, 간과 등과 같은 인간과실(Human error)을 유발하여 선박의 충돌과 좌초 등과 같은 매우 위험한 해양사고를 수반할 가능성을 높게 하는 것이다(Yang, 2009; Yang, 2012).

우리나라 전체 해양사고(2002～2011년)의 82.2 %가 총톤수 500톤 미만의 소형 선박에서 발생하고, 69.7 %가 우리나라 개 항의 항계 안 및 영해 등 연안 수역에서 발생하고 있다. 또한 운항과실이 80.7 %를 차지하고 있고, 충돌, 접촉 및 좌초사고 의 경우 선교 항해당직자의 운항과실 발생빈도가 94.1 %로 나 타났다. 따라서, 항해사는 항상 상당한 피로가 누적되어 졸 음운항 상황이 빈번하게 발생될 수 있는 여지가 많다.

이와 같은 항해사들의 졸음운항에 따른 문제를 해결하기 위해 선교항해당직경보장치(Bridge Navigational Watch Alarm System, BNWAS)의 설치가 의무화 되어있지만, “선박직원법” 상 총톤수 200톤 미만의 선박은 의무탑재 사항이 아니다. 따 라서 소형선박의 경우 선장 혼자서 선교 항해당직을 수행하 는 경우가 대부분이다(Hong et al., 2014).

인간의 동작이나 얼굴 등을 검출하는 방법은 오래전부터 영 상처리를 비롯한 다양한 분야에서 연구되어 왔으며, 최근에는 로봇 비젼, 스마트 홈 시스템 등에 널리 사용되고 있다. 그 동 안 연구된 얼굴추적 방법은 지식-기반 방법(Knowledge-based methods), 특징-기반 방법(Feature-based methods), 템플릿 매칭 방 법(template matching methods), 외형-기반 방법(appearance-based methods)으로 분류할 수 있다(Bae et al., 2012). 본 논문에서는 컬러정보와 깊이정보를 사용하여 빠르고 정확하게 항해사 의 얼굴을 검출한 후, 깊이정보를 이용하여 항해사의 졸음 을 탐지하는 방법을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 항해사의 얼굴 추적을 위해 Adaboost(Viola and Jones, 2004)기반의 항해사 얼 굴 추적 알고리즘을 설명한다. 3장에서는 깊이정보와 컬러 정보를 이용하여 항해사의 졸음상황을 탐지할 수 있는 알고 리즘과 구동 시스템에 대하여 소개하고, 4장에서는 제작한 시스템을 선교에 설치하여 실험한 결과를 보인다. 마지막으 로 5장에서 결론을 맺는다.

2.항해사의 얼굴 추적 알고리즘

2.1.Adaboost 알고리즘을 이용한 얼굴 검출

본 논문에서는 얼굴검출 분야에서 많이 사용되는 외형 기 반 방법 중 속도와 정확도면에서 매우 훌륭한 성능을 보이 는 Viola와 Jones가 제안한 Adaboost 알고리즘을 사용한다. Viola와 Jones가 제안한 Adaboost 알고리즘은 유사-Harr 특성 (Haar-like feature)을 적분 영상(Integral image)을 이용하여 빠 르게 계산하여 얼굴을 검출한다(Papageorgiou et al., 1998; Lienhart and Maydt, 2002). 훈련 과정에서 얼굴 영상과 배경 영 상으로 구성된 학습 영상 집합을 입력받아 이 둘의 차이를 잘 구분 할 수 있는 특징을 선택하여 약한 분류기(Weak classifier) 를 구성한다. 그리고 약한 분류기들을 결합하여(Cascading) 최 종적으로 얼굴과 비 얼굴을 분류할 수 있는 강한 분류기 (Strong classifier)를 생성한다.

Adaboost는 특징을 이용하기 때문에 적은 양의 훈련 데이 터로도 학습이 가능하며, 적분 영상을 사용하게 되면 한번 계산한 이후에는 위치와 크기에 상관없이 상수 시간에 계산 이 가능하므로 픽셀 기반 방법보다 속도가 빠르다는 장점이 있다. 하지만 특징의 모양이 복잡해지거나 그 수가 증가하 게 되면 계산량이 많아져서 속도가 떨어질 수 있다. 따라서 단계적으로 분류기를 배열하여 배경에 해당하는 영역을 초 기에 걸러내어 얼굴의 주요 특징을 빠른 속도록 검출 할 수 있게 한다.

Haar 웨이블릿(Wavelet)은 영상에서 수평, 수직, 대각 방향의 에지를 각 스케일로 분해하기 위한 기저함수이며, Papageorgiou 는 이를 이용하여 강인하면서도 연산이 빠른 Haar 웨이블릿 을 객체 검출을 위한 특징 집합으로 사용하여 객체를 검출 하는 알고리즘을 제안하였다(Papageorgiou et al., 1998). Viola 와 Jones는 기존의 Haar 특징를 확장한 유사-Haar 특징을 이 용하였는데, 유사-Haar 특징은 인접한 검은색과 흰색의 직사 각형 형태로 이루어져 있으며, 각 영역 내의 픽셀값을 더하 여 영역의 합을 구한 다음 두 합의 차를 구하여 특징 값을 계산한다(Bae et al., 2012).

유사-Haar 특징들은 직사각형 형태로 이루어져 있기 때문 에 적분 영상(Integral image)을 이용하여 빠르게 계산할 수 있다. 적분 영상 안의 한 점 (x, y)의 값은 Fig. 1에서 나타낸 것과 같이 원점에서부터 점 (x, y)까지의 픽셀값들의 합과 같다.

적분 영상 ii(x, y)는 식(1)에 의하여 구해질 수 있다.

여기서ii(x, y)는 적분 영상이고, i(x, y)는 원본 영상이다. 식(1)의 적분 영상은 식(2)와 (3)의 반복적인 계산에 의해서 간단히 얻어 질 수 있다.

s(x, y)는 행의 누적 값이며, s(x, -1)=0 이고 ii(-1,y)=0 이다.

적분영상은 영상이 입력될 경우 화소 값을 누적하여 한 번의 계산으로 SAT(Summed Area Table)을 생성하며, 이를 이 용하여 중복 연산을 최소화하여 연산 속도를 빠르게 할 수 있다. 또한 적분 영상을 이용하면 유사-Haar 특징의 특징 값 을 빠르게 계산 할 수 있다.

Adaboost 알고리즘은 t개의 낮은 분류 성능을 보이는 간단 한 형태의 약한 분류기들을 선형적으로 결합하여 최종적으로 강한 분류기를 만들어 내는 기법이다. Freund와 Schapire는 선 형적으로 결합된 약한 분류기의 수가 증가할수록 에러율이 0에 근접한다는 것을 증명하였다. Adaboost 알고리즘은 간단 하면서도 효율적인 장점을 가지고 있으며, 얼굴과 비 얼굴 로 구성된 훈련 영상 집합에서 추출된 사각형 특징 집합을 이용하여 학습한다.

약한 분류기h_j(x,f,p,θ)는 식(4)와 같다.

여기서 f_j는 특징값, θ_j는 문턱치(Threshold), p는 극성 (Polarity)을 각각 나타낸다. 이 훈련과정을 Fig. 2에 나타내 었다.

템플릿 매칭(Template matching)은 템플릿 영상(Template image)과 소스 영상(Source image)을 비교하여 템플릿 영상과 같거나 비슷한 물체를 찾고 인식하는 것이다. 이 방법은 템 플릿의 특징 성분 검출이 용이하도록 존재할 필요가 없기 때문에 조명 변화나 배경의 영향을 덜 받게 되고 복잡한 배 경에서도 템플릿 검출이 가능하다는 장점이 있다. 하지만, 거리에 따른 크기변화에 민감하다는 단점이 있다.

템플릿 매칭의 매칭 방법을 Fig. 3에 나타내었다. 찾고자 하는 대상의 특징을 가진 템플릿을 생성한 다음, 이 템플릿 을 회선 마스크(Convolution Mask)로 사용하여 소스 영상의 모든 영역을 탐색하면서 템플릿 영상과 소스 영상의 픽셀의 매칭 정도를 파악하여 가장 높은 값을 갖는 부분을 찾는 것 이다.

템플릿 영상과 소스 영상 간의 매칭 정도를 파악하는 방 법은 상관도를 이용하는 방법과, 차이를 이용하는 방법이 있 다. 상관도를 이용하는 방법은 상관계수를 계산하여 생성된 상관계수 영상에서 가장 높은 상관도를 가지는 영역을 찾아 내는 방법이고, 차이를 이용하는 방법은 MAD(Mean Absolute Difference)와 MSE(Mean Square Error), SAD(Sum of Absolute Difference)를 계산하여 템플릿 영상과 소스 영상 사이의 최 소 차이를 갖는 영역을 찾는 방법이다.

본 논문에서는 계산을 속도를 높이기 위하여 상관계수를 구하는 것이 아니라 SAD를 사용하여 템플릿의 움직임을 추 정한다. 또한 거리에 따른 크기변화에 민감하다는 기존의 템플릿 매칭의 단점은 깊이 정보를 이용하여 템플릿을 확대 혹은 축소하여 템플릿 매칭을 수행하여 극복하도록 하였다.

SAD 수식은 식 (5)와 같으며 여기서 T(x_i,y_j)는 템플릿 영 상의 화소 값이며, I(x_i,y_j)는 입력영상에서의 화소 값이다.

3.깊이정보를 이용한 졸음탐지 시스템

3.1.졸음탐지 알고리즘

얼굴 검출부에서는 기본적으로 Viola와 Jones가 제안한 Adaboost 기반의 얼굴 검출 방법을 사용한다. Viola와 Jones가 제안한 알고리즘은 적분 영상과 케스케이드 구조를 이용. 하여 빠른 얼굴 검출이 가능하다. 하지만 고해상도 영상과 제한된 하드웨어를 사용하는 시스템의 경우에는 실시간으 로 얼굴을 검출하는데 어려움이 있다. 제안하는 알고리즘은 이러한 문제점을 개선하기 위하여 전체영상에서 깊이정보 와 컬러정보를 이용하여 불필요한 배경영역을 제거하고 얼 굴 후보 영역을 검출하여 Adaboost에 입력으로 들어가는 영 상영역을 제한하여 연산시간을 줄이도록 하였다. 얼굴 검출 과정은 Fig. 4에 나타내었으며 각 과정에 대하여 아래에 설 명한다.

제안하는 방법은 얼굴 검출 과정과 졸음 탐지 과정의 두 과정으로 구성되어 있으며, 얼굴 검출 과정은 기본적으로 하나의 상황 혹은 장면(scene)의 초기에 한 번만 수행한다. 검출 과정에서 검출된 얼굴 부분은 졸음 탐지 과정에서 템 플릿(template)으로 사용되며, 얼굴이 검출된 다음 프레임부 터는 졸음 탐지 과정만을 수행된다. 그러나 상황 혹은 장면 이 바뀌거나 추적과정에서 템플릿 매칭이 이루어지지 않은 경우 다시 검출과정을 수행한다.

Fig. 5에서는 다중 이미지 센서 카메라를 이용하여 항해사 의 졸음상황을 실시간으로 탐지하기 위한 세부 알고리즘 순 서도를 보이고 있다. 입력받은 RGB 영상을 이용해 실시간으 로 차영상을 생성하고, 이 차영상을 이용해 Fig. 6에서 보이 는 방법과 같이 x-축과, y-축에 대해 화소값들의 누적 값을 각각 구한다. 만약 항해사가 한 명인 경우에는 각 축에서 누 적된 값과 깊이정보의 누적된 값으로 이전의 물체를 추적하 지만, 항해사가 두 명 이상인 경우에는 깊이정보를 이용하 여 카메라와 가까이 위치한 항해사에게 우선순위를 부여하 여 정확한 좌표를 산출한다. 항해사의 졸음탐지는 깊이정보 프레임들의 변화량을 분석하여 변화량이 특정 값을 넘어설 경우 졸음상황이라고 판단을 한다.

3.2.졸음탐지 시스템 제작

본 논문에서는 최근 출시된 마이크로소프트사의 Kinect 카메라를 이용해 항해사의 정확한 움직임을 추적하는 기술 을 개발하였다. 이 Kinect 카메라는 RGB 카메라와 IR 신호를 사용하는 깊이 센서의 다중 이미지 센서로 구성되어 있다. 본 논문에서는 이와 같은 다중 이미지 센서로부터 획득된 RGB영상과, 깊이정보를 이용해 화면 내에서 실시간으로 항 해사의 위치와 졸음 상황을 탐지하는 기술을 개발하였다. Fig. 7(a)에서는 다중 이미지 센서로 구성된 Kinect 카메라를 보이고 있고, Fig. 7(b)에서는 Kinect를 포함하여 디스플레이 장치를 제어하는 시스템을 보이고 있다.

이 카메라는 초당 30 프레임으로 동일한 해상도(640×480) 의 RGB영상과 깊이정보를 출력한다. 이 중 깊이정보는 화질 의 열화가 매우 심하다. 또한 이 카메라의 촬영 유효 거리는 약 0.8~3.5 m이며, 1.2~1.8 m 정도에서 가장 정확한 값을 얻을 수 있다고 명시하고 있다.

4.실험결과

다중 이미지 센서로 획득한 RGB 색차정보와 깊이정보의 화면 내에서 움직임을 추적하는 기술을 이용하여 움직임이 발생하는 위치를 좌표값으로 산출할 수 있으므로, 획득 화 면을 20개의 구역으로 분할한 후 좌표값이 위치하는 구역을 찾음으로써 움직임에 대해 에러 없이 정확한 거리정보와 공 간좌표를 측정할 수 있다.

또한 다중 이미지 센서는 RGB 색차정보와 깊이정보를 30 fps (0.03초)의 속도 차영상 및 누적덧셈을 수행하며, 움직임 추 적은 매 4 프레임마다 수행한다. 즉, 매 프레임 차영상을 생 성, 이를 x, y축으로 누적하고, 그 결과를 4 프레임 누적하여 화면 내에서 발생하는 움직임을 추적한다. 따라서 이 시스 템은 7.5 프레임/sec(0.13초/위치추적)의 추적 속도 움직임을 추적할 수 있다.

4.1.실험방법

구현한 시스템의 실제 동작여부와 성능을 시험하기 위해 선교의 환경과 유사하게 만들어진 목포해양대학교 Marine Simulation Center에서 실험을 수행하였다. Fig. 8과 같이 다중 이미지 센서 Kinect 카메라와 제어시스템을 조타석 상단에 설치 하여 항해사의 졸음상황을 탐지하였다. 실험은 20대 후반, 신장 173 cm, 안경 미착용의 성인 남성을 대상으로 수행하였다.

4.2.실험결과

이상의 실험을 수행한 데이터를 정리하면 다음과 같다.

Fig. 9에서 야간항해와 주간항해 시 항해사의 졸음을 탐지 한 결과를 보이고 있다. Fig. 9의 좌측영상은 야간상황, 우측 은 주간상황을 가정하여 진행한 것으로, 각 영상의 좌측에 있는 그림은 깊이 정보, 중앙영상은 항해사의 얼굴위치를 추적한 후 졸음상황을 탐지한 경우, 우측영상은 항해사의 얼굴부위만을 따로 탐색한 영상이다. 이때, 아간항해 상황을 연출하기 위해 모든 조명기구를 점등한 후에 진행하였다. 주간상황과 야간에 조명을 켠 경우에는 모두 항해사의 졸음 상황을 1 %의 오차범위 내에서 정상적으로 탐지하였다. 하 지만, 야간에 조명을 끈 경우에는 항해사의 얼굴추적가능 범위가 50 cm 이내로 매우 짧아졌다(Ha and Choi, 2014).

Table 1에서는 제안한 졸음탐지 기법의 객관적인 성능을 보이고 있다. 표에서 D는 깊이정보 카메라와 항해사 사이의 거리값을 의미한다. 앞서 기술한 바와 같이 야간에 조명을 차단한 상태에서는 50 cm 이내에서도 오차율 1 % 미만의 탐 지 성능을 보이지만, 거리가 더 멀어지는 경우 탐지가 안 되 는 것으로 확인되었다.

5.결 론

본 논문에서는 연안항해시 졸음운전으로 인해 발생하는 해양 추돌사고를 방지하기 위한 항해사의 졸음탐지 시스템 을 제안하였다. 이 시스템은 깊이정보와 RGB 컬러정보를 이 용하여 항해사의 졸음을 탐지하는 기술을 기반으로 한다. 실험은 선교와 동일한 환경이 갖춰진 시뮬레이션 센터에서 수행하였고, 그 결과 주/야간 항해시에도 정상적으로 항해사 의 졸음상황을 탐지해 내는 것을 확인하였다. 다만, 외부 조 명이 없는 경우에는 50 cm 이내에 있는 항해사의 얼굴만을 추적하여 졸음을 탐지할 수 있었다. 이 부분은 추후 알고리 즘 보완을 통해 해결해야 할 과제로 보인다.

본 시스템이 연안과 같이 복잡한 항로를 항해하는 선박의 해양 추돌사고를 방지하는데 도움이 되기를 기대해 본다.