Journal Search Engine

ISSN : 1229-3431(Print)
ISSN : 2287-3341(Online)

Journal of the Korean Society of Marine Environment and Safety Vol.25 No.1 pp.111-116
DOI : https://doi.org/10.7837/kosomes.2019.25.1.111

A Study on Smoke Detection using LBP and GLCM in Engine Room

Kyung-Min Park^*†

^* Division of Marine engineering & Coast guard, Mokpo National Maritime University, Mokpo 58628, Kore

^† allre@mmu.ac.kr, 061-240-7232

Received November 12, 2018 Review December 28, 2018 Accepted February 25, 2019

Abstract

The fire detectors used in the engine rooms of ships offer only a slow response to emergencies because smoke or heat must reach detectors installed on ceilings, but the air flow in engine rooms can be very fluid depending on the use of equipment. In order to overcome these disadvantages, much research on video-based fire detection has been conducted in recent years. Video-based fire detection is effective for initial detection of fire because it is not affected by air flow and transmission speed is fast. In this paper, experiments were performed using images of smoke from a smoke generator in an engine room. Data generated using LBP and GLCM operators that extract the textural features of smoke was classified using SVM, which is a machine learning classifier. Even if smoke did not rise to the ceiling, where detectors were installed, smoke detection was confirmed using the image-based technique.

Key Words : Engine room vision , Video-based , Smoke detection , LBP , GLCM

선박의 기관실에서의 연기 검출을 위한 LBP-GLCM 알고리즘에 관한 연구

박경민^*†

^* 목포해양대학교 기관·해양경찰학부

초록

선박의 기관실에서 사용하고 있는 화재 검출기는 연기나 열이 검출기에 도달해야 하지만 기관실의 공기 흐름은 기기의 사용유 무에 따라 매우 유동적이기 때문에 상부에 설치된 검출기에 도달하기에는 많은 시간이 필요하다. 이러한 단점을 보완하기 위해 근래에는 영상을 기반으로 화재를 검지하는 연구가 이루어지고 있다. 영상기반의 연기 검지는 공기의 흐름에 영향을 받지 않으며 전송속도가 빠르 기 때문에 화재의 초기 검지에 효율적이다. 본 연구는 기관실에서 연기 발생기로 발생시킨 연기의 확산모습을 녹화한 영상으로 실험을 수행하였다. 연기의 질감특징을 추출하는 LBP와 GLCM연산자를 사용하여 생성된 학습 데이터를 기계학습 분류기인 SVM으로 학습한 후 분류하여 검출 성능을 평가함으로서 연기가 상부에 설치되어 있는 검출기까지 상승하지 않더라도 영상기반으로 먼저 검지 가능함을 확 인하였다.

키워드 : 기관실 , 영상기반 , 연기 검출 , LBP , GLCM

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

선내는 유류, 화물, 전기, 설비 등의 불에 타기 쉬운 가연 성 물질로 인해 화재의 위험이 존재하며, 육상의 화재와는 달리 접근성, 장비, 인력, 해상환경 등이 열악하므로 대형화 재로 이어져 인명과 재화에 큰 손실을 입히게 된다(Korea Maritime Safety Tribunal, 2018). 화재의 검지와 소화를 위한 소 화설비의 규약은 IMO(International Maritime Organization)의 SOLAS(Safety of Life at Sea)를 근간으로 화재 검지기, 화재경 보기, 전원 설비 및 제어반 등에 대한 협약이 체결되어 있다 (SOLAS, 1974). 선박에서 사용되는 자동화재 경보장치는 열 과 연기를 이용하는 감지기를 사용하고 있으며, 일정 면적 이나 장비의 상부에 설치되어 있다. 연기 검출기는 연기의 농도가 쌓여 일정 이상이 되었을 때 검출하며, 열 감지기 또 한 발화점부터 열 검출기까지 열이 전달되어야 감지한다. 이는 화재의 초기 감지에 어려움이 있어 그 대안으로 비디 오 기반의 화재 감지기가 연구되고 있다(Gottuk et al., 2006).

영상으로부터 화재를 감지하는 방법은 카메라에 촬영된 영상에서 화재를 감지하기 때문에 연기나 열이 감지기에 도 달하지 않더라도 감지가 가능하므로 화재의 초기에 감지할 수 있다. 화재를 감지하는 방법은 연기와 불꽃으로 나누어 지며, 화재의 성장단계는 연기, 불꽃, 그리고 열의 순서로 생 성되므로 초기 감지를 위해서는 연기를 검출해야 한다(Hong et al., 2009).

연기 검출에 대한 방법은 연기의 시각적인 특징에 따라 색상, 움직임, 투명성 그리고 질감으로 나누어진다(Ye et al., 2015). 연기의 색에 대한 규칙은 RGB와 채도 값을 기반으로 배경색을 추정하고 후보영역을 결정한다. 그러나 연기와 비 슷한 색의 물체가 있거나 연기의 색이 연소물질에 따라 변 경되므로 오류가 발생한다(Yu et al., 2010). 연기의 움직임 특 징은 근접한 프레임간의 픽셀 위치, 각도 그리고 거리를 계 산함으로서 검출하는 방법으로 공기의 흐름이 유동적으로 변화는 곳에서는 유용하지 않다(Yuan, 2008). 연기의 투명도 를 이용한 검출법은 두께나 크기의 분포를 계산하여 통계적 으로 검출하는 것으로 데이터가 충분치 않아 회색의 연기 검출에 적절하지 않다(Long et al., 2010). 근래에는 연기의 부 드러움, 거친, 규칙성 등의 성질을 가지고 있는 질감특징을 이용한 검출방법들이 많이 사용되고 있다. 질감특징을 추출 하기 위해 LBP(Local Binary Pattern), GLCM(Gray Level Co-occurrence Matrix), DT-CWT(Dual-Tree Complex Wavelet Transform)등의 연산자가 사용되며, SVM(Support Vector Machine)과 같은 기계학습 분류기를 통해 연기를 검출한다 (Maruta et al., 2009, Wang et al., 2016, Park, 2018).

연기의 검출은 실외와 실내, 낮과 밤, 공기의 흐름, 조명 등의 환경에 많은 영향을 받는다. 본 논문에서는 정박 중인 선박 기관실에서 발생하는 연기를 영상 기반으로 검출하였 다. 선박 기관실은 엔진, 보조기계, 가연성 물질, 전기배전 등으로 인해 연기가 발생할 수 있으며, 기관실의 조명은 일 정하며 팬과 기계의 동작에 따라 공기흐름이 달라진다. 질감 특징 연산자인 LBP와 GLCM을 혼합하여 특징을 추출하였다. LBP는 중심화소와 이웃한 화소간의 차이를 대소 관계로 나 타낸 것으로 대비의 정도를 알 수 없으나 GLCM과 혼합함으 로서 이를 보안할 수 있다. LabVIEW의 Vision Development 기 반으로 선박 기관실에서 발생하는 연기를 영상 기반으로 검 출하기 위해 질감특징을 추출하는 연산자와 분류기를 사용 하여 연기검출 성능을 평가하였다.

2. 연기 검출 방법

2.1 전처리

카메라로부터 획득한 이미지의 영상 처리를 위해 전처리 를 해야 하며, Fig. 1은 전처리과정을 LabVIEW의 블록 다이 어그램(Block Diagram)으로 간략히 나타낸 것이다. IMAQ Resample 노드를 이용하여 해상도의 크기를 변경하고, 보간 법에는 최근접 이웃(Zero order), 쌍일차(Bi-linear), 이차원 (Quadratic), 그리고 3차 스플라인(Cubic Spline)이 있다. 본 연 구에는 이차원 보간법을 사용하였으며, 이는 16개의 최근접 이웃을 이용한 2차 방정식을 사용하는 것으로 세세한 부분 까지 잘 보존하지만 연산시간은 조금 증가된다(Gonzalez and Richard, 2009a). 해상도가 변경된 영상은 영상 처리를 위해 명 암도 영상으로 변경하여야 하며 IMAQ ExtractSingleColorPlane 노드를 이용한다. 이 노드는 RGB 영상을 적, 녹, 청, 채도, 명암도 등으로 변경할 수 있다.

2.2 후보영역 선정

연기의 후보영역을 선정하기 위해 차영상 방법을 사용하 였다. 차영상은 두 개의 이미지 간에 픽셀차를 비교한 것으 로 배경에서 움직임 검출에 유용하다. 배경 이미지와 움직 임 영역의 픽셀차가 임계값 이상이면 1, 이하이면 0인 이진 영상으로 변경하고, 배경 이미지는 계속적으로 갱신해야한 다. Fig. 2는 배경을 갱신하기 위한 과정의 흐름도를 나타내 고 있다. 배경 이미지의 갱신은 움직임 영역의 크기가 설정 치 이하거나 이전의 영상에서 연기검출이 되지 않으면 갱신 하도록 하였다. 이는 움직임이 있거나 이전 영상에 연기가 있으면 배경이 갱신되지 않아 계속적으로 같은 배경 영상으 로부터 움직임 영역을 검출할 수 있다.

2.3 특징 추출

2.3.1 영상 피라미드

영상에서 질감의 분석을 향상시키기 위해 영상 피라미드 를 사용한다. 영상 피라미드는 기저 영상으로부터 해상도가 감소하는 피라미드 모양으로 다해상도의 집합이다(Gonzalez and Richard, 2009b). 객체의 특징을 추출 시 그 결과는 샘플 링 크기에 따라 다르며 영상 피라미드를 이용하여 다해상도 의 특징을 추출할 수 있다. Fig. 3은 영상을 부드럽고 근사화 시키기 위한 저역통과 가우스필터(a)와 16×16 화소를 8×8과 4×4화소로 다운 샘플링 과정의 이미지 피라미드(b)를 나타내 고 있다.

2.3.2 지역적 이진패턴(LBP)

LBP 연산자는 영상의 질감 분석을 위한 특징추출 시 사 용되는 방법 중 하나이다(Pan et al., 2014). Fig. 4는 LBP 연산 자를 사용하여 특징을 추출하는 예로 (a)는 영상의 명암도 값이고 (b)는 명암도 영상에서 중심화소와 인접한 화소 값을 비교하여 크면 1, 작으면 0을 생성한 LBP 특징 벡터를 나타 내고 있다. 입력영상에서 추출할 관심 영역을 선정하고 추 출옵션에서 X, Y축의 크기와 히스토그램의 빈 수를 설정하 여 LBP 연산자를 통해 특징벡터를 얻을 수 있다.

2.3.3 명암도 동시 발생 행렬(GLCM)

GLCM 연산자는 설정 거리에 있는 화소 간의 명암도 분포 를 행렬로 나타낸 것으로 2차 통계치를 이용하여 화소의 변 화 패턴을 알 수 있다(Albregtsen, 2008). Fig. 5는 GLCM 연산 자의 예로 (a)는 명암도 값이고 (b)는 GLCM 특징 벡터를 나 타내고 있다. X축은 오른쪽 화소의 값이 존재하는 개수이며, Y축은 화소의 값을 나타낸다. (b)의 (0, 0)의 화소 값은 (a)의 명암도 값이 0이고 0의 오른쪽 화소 값이 0인 개수는 1이므 로 1을 나타내고, 같은 방법으로 (b)의 (0, 1)의 화소 값은 0 이고 0의 오른쪽 화소 값이 1인 개수는 2이므로 2를 나타낸 다. 화소간의 특징계산은 Dissimilarity(이질성), Entropy(명암도 변화), Contrast(명암도 차이), Homogeneity(균일성), Correlation (상관관계), Energy(합), 그리고 Peak(최고치)을 아래의 식으로 정의하여 값을 구할 수 있다.

D i s s i m i l a r i t y = \sum_{i = 0}^{N - 1} \sum_{j = 0}^{N - 1} P_{i, j} |i - j|

(1)

E n t r o p y = \sum_{i = 0}^{N - 1} \sum_{j = 0}^{N - 1} P_{i, j} (- ln P_{i, j})

(2)

C o n t r a s t = \sum_{i = 0}^{N - 1} \sum_{j = 0}^{N - 1} P_{i, j} {(i - j)}^{2}

(3)

H o m o g e n e i t y = \sum_{i = 0}^{N - 1} \sum_{j = 0}^{N - 1} \frac{P_{i, j}}{1 + |i - j|}

(4)

C o r r e l a t i o n = \sum_{i = 0}^{N - 1} \sum_{j = 0}^{N - 1} \frac{(i - u_{i}) (i - u_{i}) P_{i, j}^{2}}{σ_{i} σ_{j}}

(5)

E n e r g y = \sum_{i = 0}^{N - 1} \sum_{j = 0}^{N - 1} P_{i, j}^{2}

(6)

P e a k = M a x P_{i, j}

(7)

2.4 연기 분류

연기의 분류는 SVM 분류기를 이용하였다. SVM은 다른 부류의 데이터들을 최대한의 거리로 분리시키는 초평면을 찾는 것으로 Fig. 6은 선형 분리기의 예를 나타낸다. A와 B 는 그룹종류이고, D는 결정 경계면이다. C는 결정 경계면과 가장 가까운 샘플들이고, E는 각 그룹간의 최대거리이다. Fig. 7은 SVM의 블록 다이어그램으로 커널과 모델의 옵션을 선택한 후 학습시켜 결과를 얻을 수 있다. Fig. 8은 전체적인 분류과정의 흐름도를 나타내고 있다. 크게 학습과 분류의 과정으로 나누어지며, 우선 연기와 비연기의 영상으로 특징 벡터를 추출하여 SVM으로 학습한다. 분류과정은 입력한 영 상을 전처리한 후 차영상으로 후보영역을 선정하고 특징 벡 터를 추출하여 학습한 데이터를 기반으로 SVM 분류기를 이 용하여 연기의 유무를 판단한다.

3. 실 험

3.1 실험환경

본 연구에서는 선박의 기관실에서 연기발생기를 이용하 여 녹화한 영상으로 실험을 수행하였다. PC사양은 Intel(R) Xeon(R) CPU E-51620 v4, 3.5GHz, 8GB RAM이며, 카메라, 렌 즈, 그리고 연기발생기는 각각 Basler acA1600-20gc, Computar M0814MP2, 그리고 Sandy SFM-400W 모델이다. 실험 장소는 정박된 목포해양대학교 실습선 새누리호의 기관실로 우현 의 보일러 앞과 발전기실 입구에서 연기를 발생시켜 각각 178 프레임과 244 프레임의 영상을 녹화하였다.

3.2 데이터 학습

분류기로 데이터를 학습하기 위해 연기와 비연기로 나누 어 선정해야 한다. 입력된 영상을 전처리 과정을 거쳐 320x240의 명암도 영상으로 변환한 후 16x16화소의 20x15블 록으로 구분한다. 각각의 16×16화소의 영상을 가우스 피라 미드를 이용하여 8×8과 4×4화소의 영상을 만들어 LBP와 GLCM으로 특징을 추출하여 분류기로 학습시킨다. 특징 추 출 설정은 16×16, 8×8, 그리고 4×4화소에서 LBP의 히스토그 램 빈은 59, 36, 그리고 16이며, GLCM은 이웃한 화소의 명암 도 차이를 나타내는 Contrast와 2×2 거리에서 레벨을 64, 32, 그리고 16으로 하였다. Fig. 9는 LBP-GLCM으로 특징을 추출하 여 학습한 데이터로, SVM 분류기의 RBF(Radial Basis Function) 커널 nu-SVC 모델을 사용하였다.

3.3 분류결과

학습한 데이터를 기반으로 녹화한 영상에서 연기의 검출 성능을 평가하였다. Table 1은 분류기의 성능을 표현하기 위 한 4가지 결과를 나타내는 것으로, 이를 바탕으로 분류결과 를 Table 2의 오차행렬로 나타내었다. Table 3은 오차행렬을 이용하여 검출율(Detection rate), 오검출률(False alarm rate), 그 리고 정확도(Accuracy)를 식(8), 식(9), 그리고 식(10)을 통해 나타내었다. 오검출의 경우는 연기발생의 초기와 마지막 단 계에서 연기가 희미한 경우에 발생하였다. 학습에 소요되는 시간은 제외하며, 한 프레임의 약 80×60 화소영역에서 연기 를 검출하는 연산시간은 약 0.7s가 소모되었다.

D e t e c t i o n = \frac{T P}{T P + F N}

(8)

F a l s e a l a r m r a t e = \frac{F P}{F P + T N}

(9)

A c c u r a c y = \frac{T P + F N}{T P + T N + F P + F N}

(10)

Fig. 10과 11은 각각 Video 1과 Video 2의 연기검출 예로 (a)는 입력 영상이며 (b)는 전처리 후 차영상을 이용하여 움 직임 영역을 검출한 것이다. (c)와 (d)는 분류기를 이용하여 연기를 검출한 부분을 나타낸 것이다.

4. 결 론

본 논문에서는 선박의 기관실에서 발생하는 연기를 영상 의 질감특징을 기반으로 검출하고자 하였다. 특징 추출은 LBP-GLCM로 적용하고 SVM 분류기로 연기의 유무를 판단 하여, Video 1과 2의 검출률, 오검출, 정확도의 평균은 각각 0.978, 0.161, 0.949를 나타내었다.

화재의 조기 검지를 위하여 현재 사용되고 있는 화재 검 출기 대신 영상 기반을 적용한다면 화재의 경보를 신속하게 함으로서 초기 진압할 수 있는 여건이 증가하므로 인명과 재화의 피해를 줄일 수 있을 것이다. 성능을 향상시킬 수 있 는 특징과 분류방법을 계속적으로 연구하여야하며, 시스템 으로 적용하기 위해서는 연기만아니라 불꽃이나 사람 등의 다른 객체와 조합하여 이루어져야 한다.

Figure

Fig. 1.

Block diagram of pre-processing.

Fig. 2.

Flowchart of updated background.

Fig. 3.

Gaussian image pyramid.

Fig. 4.

Example of LBP operator.

Fig. 5.

Example of GLCM operator.

Fig. 6.

Example of linear classifier.

Fig. 7.

Block diagram of SVM Classification.

Fig. 8.

Flowchart of overall progress.

Fig. 9.

Results of data training.

Fig. 10.

Example of Video 1 smoke detection.

Fig. 11.

Example of Video 2 smoke detection.

Table

Table 1.

Four results of classification

Table 2.

Confusion matrix of the results

Table 3.

Classification results of the experiment

Reference

Albregtsen, F.(2008), Statistical Texture Measures Computed from Gray Level Coocurrence Matrices, Fritz Albregtsen Image Processing Laboratory Department of Informatics university of Oslo, https://www.uio.no/studier/emner/matnat/if i/INF4300/h08/undervisningsmateriale/glcm.pdf (Accessed: 2018. 10. 29.).
Gonzalez, R. C. and E. W. Richard(2009a), Digital Image Processing, p. 983.
Gonzalez, R. C. and E. W. Richard(2009b), Digital Image Processing, pp. 553-555.
Gottuk, D. T., J. A. Lynch, S. L. Rose-Pehrsson, J. C. Owrutsky and F. W. Williams(2006), Video Image Fire Detection for Shipboard use, Fire Safety Journal, Vol. 41, No. 4, pp. 321-326.
Hong, S. H., C. H. Park, S. T. Park and S. H. Yu(2009), A Study on the Fire Detection Technology for Fire Protection of Ships, Proceedings of the 2009 Korea Marine Engineering Conference, Vol. 6, pp. 241-242.
Korea Maritime Safety Tribunal(2018), Static of accident at sea in Korea, https://www.kmst.go.kr (Accessed: 2018. 10. 16.).
Long, C., J. Zhao, S. Han, L. Xioung, Z. Yuan, j. Huang and W. Gao(2010), Transmission: A New Feature for Computer Vision Based Smoke Detection, International Conference on Artificial Intelligence and Computational Intelligence, LNAI 6319, pp. 389-396.
Maruta, H., Y. Kato, A. Nakamura and F. Kurokawa(2009), Smoke Detection in Open Areas its texture features and Time Series Properties, Proceedings of the IEEE International Symposium on Industrial Electronics, Seoul, South Korea, pp. 1904-1908.
Pan, Z., Z. Li, H. Fan and X. Wu(2017), Feature based Local Binary Pattern for Rotation Invariant Texture Classification, Expert Systems with Applications, Vol. 88, pp. 238-248.
Park, K. M.(2018), A Study on smoke Detection using LBP-SVM in Ship’s Engine Room, Ph.D. Dissertation, Department of Geopraphy, Mokpo Maritime University.
SOLAS(1974), Safety of Life at Sea, regulation Ⅱ-2A, Fire Protection, Fire Detection and Fire Extinction.
Ye, W., J. Zhao, S. Wang, Y. Wang, D. Zhang and Z. Yuan(2015), Dynamic Texture based Surfacelet transform and HMT model, Vol. 73, pp. 91-101.
Yu, C., J. Fang, J. Wang and Y. Zhang(2010), Video Fire Smoke Detection Using Motion and Color Feature, Fire Technology, Vol. 46, No. 3, pp. 651-663.
Yuan, F.(2008), A Fast Accumulative Motion Orientation Model based on Integral Image for Video Smoke Detection, Pattern Recognition, Vol. 29, No. 7, pp. 925-932.
Wang, Y., A. Wu, J. Zhang, M. Zhao, W. Li and N. Dong(2016), Fire Smoke Detection Based on Texture Features and Optical Flow Vector of Contour, World Congress on Intelligent Control and Automation, pp. 2879-2883.