1. 서 론

제4차 산업혁명시대를 맞이하여 해운분야에서도 인공지 능, 빅데이터, 사물인터넷 등을 이용하여 사람의 개입을 줄 이는 자율운항선박, 원격제어, 기관실 무인화, 고장예측 및 진단 등의 스마트 선박에 관한 연구가 활발히 이루어지고 있다(Kang et al., 2019). 선박의 기관 운전은 기술의 발전으로 인해 시스템이 데이터를 저장하고 이상 시 알람을 발생시킨 다. 이러한 자동화 시스템은 기기의 부착된 계측기로부터 측정된 압력, 온도, 전압, 전류 등의 신호를 기반으로 기기의 상태를 확인한다. 하지만, 실제 해상에서 운항하는 선박은 바람, 파도, 진동, 기기 노후화 등의 다양한 변수가 많은 환 경이기 때문에 자동화 시스템에서 계측되지 않는 풀림, 절 단, 누유, 누수 등이 발생하므로 기관실 이상 유무를 확인하 기 위해 기관사가 주기적으로 순찰을 하며, 순찰 시에는 1명 의 기관사만 순찰하는 경우도 있다. 이는 고온의 연료유, 고 압의 증기, 그리고 여러 회전기기가 운전 중인 기관실에서 많은 위험요소를 가지고 있다. 선박 기관실은 메인엔진과 이를 구동하기 위해 필요한 펌프, 보일러, 청전기, 배전반 등 의 다양한 보조기기로 구성되어 있으므로 각각의 기기 특징 에 맞게 점검한다. 이 때, 훈련받은 기관사는 기관실 이상 유무를 알기 위해 시각, 청각, 후각, 미각, 촉각을 활용하여 순찰하며, 특히 시각에 의존하여 점검한다.

근래에는 기계에 인간이 가지고 있는 시각과 판단 기능을 부여한 컴퓨터 비전(Computer Vision)이 딥러닝(Deep learning) 과 결합함으로서 자동차, 자전거, 표지판, 사람, 고양이, 강아 지, PCB기판 등의 객체검출 및 분류하는 기술이 발전되고 있으며(Fang et al., 2020), 이와 같은 신경망을 이용한 영상인 식 기술을 로봇에 접목함으로서 로봇의 지능이 향상되어 안 내, 보안, 수리, 이송, 청소, 노인 돌봄, 기기 점검 등의 분야 에 적용되고 있다(Li et al., 2019).

현재 스마트 선박에 관한 연구가 활발히 이루어지고 있으 며, 그 중 하나는 기관실 순찰로봇이다(Zhang et al., 2017). 기 관실 순찰로봇은 이동 로봇에 카메라를 설치하여 실시간으 로 기관실 영상을 수집하고, 기기의 특성에 맞게 이미지를 점검한 후 기기의 이상 유무를 판단하는 것으로 기관실 무 인화 시스템에서 유용하게 사용될 기술 중 하나이다 이를 위해서, 대량의 데이터 셋에서 미리 훈련되어 저장된 네트 워크를 이용하는 전이학습(Transfer Learning)으로 특성추출과 미세조정을 하여 소규모의 데이터 셋인 선박기관실 기기의 이미지를 분류할 수 있다(Yosinski et al., 2014).

본 논문은 선박 기관실을 이동하며 기기의 특이사항을 감 지하고 알려주는 순찰로봇을 구현하기 위한 선행연구로서 선박 기관실 기기의 이미지를 합성곱 신경망(Convolution Neural Network)의 전이학습으로 분류하고자 한다(Guo et al., 2017). 먼저, 선박 기관실의 메인엔진(Main engine), 보일러 버너(Boiler burner), 히터(Heater), 펌프(Pump), 청정기(Purifier), 기동반(Starter panel) 이미지로 분류할 데이터 셋을 구성하였 다. 그리고 구축한 데이터 셋은 사전 훈련된 합성곱 신경망 을 활용하여 학습 후 분류 및 평가하였고, 클래스 활성화 맵 (Class Activation Map)으로 이미지의 어느 부분이 최종 분류 결정에 기여했는지 분석하였다(Bolei et al., 2016).

2. 연구 방법

2.1 전이 학습

합성곱 신경망은 이미지의 경계(edge)나 질감(texture) 등의 시각적 특성을 분석하기 위해 사용되는 인공신경망(Artificial Neural Network)의 한 종류로서 합성곱 계층(layer), 풀링 (pooling) 계층을 반복 배치하여 깊게(deep) 만들고, 마지막으 로 완전 연결(fully connected) 계층을 배치한다. 합성곱 계층 은 합성곱 연산으로 이미지의 특징을 추출하는 역할을 하 며, 풀링 계층은 필터 크기에서 평균값과 최댓값을 이용해 서 차원을 축소시킨다. 그리고 완전 연결 계층은 추출된 특 성을 연결하여 특성지도를 만들고, 함수를 이용하여 이미지 를 분류시킨다(Park and Bae, 2019).

하지만, 합성곱 신경망은 초깃값, 활성화 함수, 계층 수, 학습율, 배치 사이즈 등의 다양한 변수들이 있기 때문에 고 려해야할 사항이 많아, 우수한 성능의 모델을 구현하기 위 해서는 많은 자본과 시간이 필요하다. 전이 학습은 사전 훈 련된 신경망 모델의 가중치를 새로운 신경망에 전이하여 학 습하는 것으로 데이터의 양이 적은 경우에 사용하는 학습 방법이다. Fig. 1은 전이 학습의 기본 흐름을 나타낸 것으로 서 먼저 소스(source) 데이터를 소스 모델로 학습시키게 되 고, 이 사전 학습한 소스 모델을 전이하여 목적(Target) 모델 을 구성한다. 목적 데이터는 전이 학습된 목적 모델로 학습 시켜 새로운 목적 레이블(Labels)을 얻게 된다.

2.2 학습 모델

본 논문에서는 합성곱 신경망 모델인 VGG16(Simonyan and Zisserman, 2015), InceptionV3(Szegedy et al., 2016), Xception (Chollet, 2017), MobileNetV2(Sandler et al., 2018)을 이용하여 메 인엔진, 보일러 버너, 히터, 펌프, 청정기, 기동반의 획득한 이미지를 전이학습 한 후 정확도(Accuracy)와 손실 함수(Loss function)로 분류성능을 평가하였다. VGG16 모델은 3x3 크기 의 필터와 최대 풀링을 사용하고 필터의 수는 계층과 함께 증가한다. InceptinV3 모델은 한 종류의 커널만 사용하지 않 고 여러 종류의 커널을 병렬로 연결하여 추상화된 특징과 작은 특징을 검출하였다. Xception 모델은 채널간의 관계를 찾는 것과 지역정보를 찾는 것을 분리하였다. MobileNetV2 모델은 Inverted Residual Block을 사용하여 메모리의 사용을 효율적으로 하였다. Table 1은 사용된 합성곱 신경망 모델의 성능으로서 크기, Top-1 Acc, Top-5 Acc, 매개변수, 깊이를 나 타내고 있다. 크기는 모델의 용량, Top-1 Acc는 분류기가 예 측한 확률이 가장 높은 클래스에 정답일 확률, Top-5 Acc는 예측한 확률이 상위 5개 클래스에 정답일 확률, 매개변수는 모델의 학습에 사용되는 변수의 수, 깊이는 네트워크의 요 소들을 연결해 놓은 층을 의미한다.

위 모델들을 이용하여 1000개의 클래스와 약 120만개의 데이터 셋인 ImageNet으로 사전 훈련한 모델을 불러와 전이 학습 하였다. Fig. 2는 전이 학습에 사용된 모델의 구조를 나 타낸 것으로 사전에 학습된 모델의 분류기를 제거하고 완전 연결 계층과 드롭아웃(dropout)을 추가하여 새로운 분류기를 구성하였다. 모델의 입력 크기는 InceptionV3과 Xception은 229x229 화소, Vgg16과 MobileNetV2는 224x224 화소이며, 마 지막 계층에 소프트맥스(Softmax) 함수를 이용하여 출력을 6 개의 클래스로 하였다.

3. 실 험

3.1 실험 데이터

학습에 필요한 데이터를 획득하기 위해 A선박 기관실의 기기 중 Boiler burner, Engine, Heater, Pump, Purifier, Starter panel 6종류의 이미지를 획득하여 각각의 클래스마다 120개 의 데이터를 포함 총 720개의 데이터 셋을 구성하였다. 실험 에서 훈련(Training) 데이터는 360개, 검증(Validation) 데이터 는 180개, 테스트(Test) 데이터는 180개로 구분하였으며, Fig. 3은 각 클래스의 이미지를 나타내고 있다.

3.2 실험 환경

실험에 사용된 합성곱 신경망 모델은 VGG16, InceptionV3, Xception, MobileNetV2 이다. 이미지의 크기는 모델의 입력 크 기에 맞도록 조절하고, 화소값은 0과 1사이로 정규화 하였 다. 학습 데이터의 수를 증가시키기 위해 확대, 회전, 전단 변환, 수평 이동, 수직이동, 좌우대칭을 하였다. 학습 시 손 실함수는 Categorical-cross-entropy, 학습률(Learning rate)은 2e-5, 배치(Batch) 크기는 6, 에폭(Epoch)은 100, 과적합을 방지하기 위한 드롭아웃은 0.5로 설정하였다. Table 2는 실험환경을 나 타낸다.

3.3 실험 결과

Fig. 4는 구축한 데이터 셋으로 학습하는 과정을 그래프로 나타낸 것으로 가로축은 학습 횟수, 세로축은 정확도와 손실 함수이다. 정확도는 전체 이미지 개수에서 옳게 예측한 개수를 의미하고, 손실함수는 예상 이미지와 실제 이미지와의 차이를 함수로 나타낸 것으로 본 연구에서는 Categorical_crossentropy를 사용하였다. (a)는 VGG16, (b)는 InceptionV3, (C)는 Xception, (d)는 MobileNetV2 모델로 전이 학습하여 기관실 기기의 분 류 성능을 측정하였다.

각 그래프에서 파란색과 보라색은 학습 단계의 정확도와 손실함수를 의미하고, 초록색과 빨간색은 검증 단계의 정확 도와 손실함수를 의미한다. 학습 결과를 살펴보면 시점에는 차이가 있으나 반복 횟수가 증가할수록 4개의 모델 모두 검 증 정확도는 1에 수렴하고, 검증 손실은 변동이 있지만 0에 수렴하였다. 콜백(Callback) 함수를 사용하여 검증 손실이 향 상되지 않으면 파일을 덮어쓰지 않도록 하여 가장 좋은 모 델이 저장되도록 하였다.

이미지의 어느 부분이 최종 분류 결정에 기여했는지 시각 화하기 위해 클래스 활성화 맵을 적용하였다. Fig. 5는 사용 된 클래스 활성화 맵에 적용된 Viridis 컬러맵으로서 노란색 으로 가까워질수록 활성화가 부분이 높다는 것을 의미한다.

Fig. 6은 클래스 활성화 맵으로서 학습한 모델로 테스트 데이터 셋을 참(True Positive)로 분류한 것이다. 활성화 부분 을 살펴보면 (a)는 Boiler burner의 본체 주위, (b)는 Engine의 배기변 주위, (c)는 Heater의 전반적인 부분, (d)는 Pump의 전 동기 부분, (e)는 Purifier의 기기와 주위바닥, (f)는 Starter panel 램프 주위이다.

Fig. 7은 거짓(False Negative) 분류한 것으로 (a) Engine을 Pump, (b) Burner을 Engine, (c) Pump를 Starter panel, (d) Pump 를 Engine으로 나타내었다. (a), (b)는 활성화 부분이 기기의 일부분이며, (c), (d)는 활성화 부분이 기기뿐만 아니라 주변 까지 되어있다. Table 3은 Fig. 7의 분류 시 예측 확률을 나타 낸 것으로 합은 100 %이며 (a)는 InceptionV3, (b), (c), (d)는 MobileNetV2로 예측한 것이다. Table 4는 학습한 모델을 이 용하여 테스트 데이터 셋으로 실제 참인 것 중에서 참으로 예측한 비율을 의미하는 재현율(Recall)을 나타낸 것으로 MobileNetV2가 가장 낮은 재현율을 보였다.

4. 결 론

본 논문에서는 합성곱 신경망을 이용하여 선박 기관실의 기기 분류에 적용가능한지 확인하였다. 데이터 셋은 A 선박 의 기관실 기기 중 Burner, Engine, Heater, Pump, Purifier, Starter panel 6가지로 구성하였으며, 데이터 양이 적어 데이터 증대 를 적용하였다. 합성곱 신경망 모델인 VGG16, InceptionV3, Xception, MobileNetV2을 ImageNet으로 사전 훈련한 모델을 이용하여 새로운 분류기를 생성한 후 구축한 데이터를 학습 하여 평가하였다. 실험결과는 학습에 사용된 4개의 모델 모 두 반복횟수 100회 이내에 정확도는 1, 손실함수는 0에 수렴 하고 재현율 또한 높은 값을 나타남으로서 별도의 전처리 과정 없이 전이 학습을 활용하면 적은 비용과 시간으로 분 류 가능함을 확인하였다. 또한, 클래스 활성화 맵을 적용함 으로서 이미지의 어느 부분이 분류 결정에 기여했는지 시각 적으로 확인하고, 특정 물체가 있는 위치를 파악하는데 사 용할 수 있도록 하였다.

1대의 선박에서만 데이터를 획득하였기 때문에 데이터는 제한적이어서 타 선박에 적용하기에는 어려움이 있지만, 각 각의 선박마다 적은 데이터를 획득한 후 전이 학습을 적용 하면 각 선박의 특성에 맞는 모델을 구축할 수 있을 것이다. 이 연구는 이미지로 기기를 분류한 후 각각의 기기마다 특 성에 맞게 점검이 가능한 프로그램을 구현하기 위한 선행연 구로서 향후에는 더욱 다양한 데이터 셋을 구축하여 기기의 분류를 세분화하고, 성능을 향상시킬 수 있도록 해야 한다. 또한, 이동 로봇과 접목하여 기관실을 순찰하고 이상 유무 를 점검할 수 있는 로봇에 관한 연구를 진행할 예정이다.