1. 서 론
해운 물류 산업은 국제 경제에 중요한 부분을 차지하고 있으며, 항만과 선박은 그 중심에 자리하고 있다. 그러나 이러한 해양 환경에서 발생하는 화재는 경제적 손실과 인명 피해, 환경 오염 등의 심각한 결과를 초래할 수 있다. 특히 선박에서 발생하는 화재는 다양한 가연성 물질과 밀폐된 구조적 특성으로 인해 일반적인 화재에 비해 빠르게 폭발이 방출되어 위험성이 더 크기 때문에 초기 진압과 대응이 매우 중요하다(You and Chung, 2015).
이러한 이유로 최근의 화재 감지 시스템은 딥러닝 기술, 그중에서도 카메라 센서를 이용한 객체 탐지 방법(Object Detection)으로 실시간으로 화재를 감지하는 검출 모델에 관한 연구가 활발히 진행되고 있다.
실시간 화재 감지를 위한 검출 모델을 학습하기 위해서는 이미지에 대응하는 라벨로 가공된 데이터가 필요하다. 일반적으로 크롤링을 통해 실제 화재 상황 이미지를 직접 수 집하거나 실제 실험 환경을 구성하여 인위적으로 화재를 발생시킨 후 수집하여 가공하는 방식, 또는 Roboflow(2024)나 AIHub(2024) 등과 같이 인터넷상에 공개되어있는 데이터를 사용하여 구축하는 방식을 이용한다. 하지만 일반적인 화재 이미지로 학습한 검출 모델은 실제로 사용했을 때 화염보다는 검은 연기가 발생하는 해양 환경에서의 화재 상황에서 화재 검출 성능이 좋지 않다는 것을 볼 수 있다(Fig. 1). 데이터셋 구축 측면에서도 항만이나 선박과 같은 특수한 환경에서는 일반적인 화재 데이터에 비해 다양한 상황에 대응하기 위한 실험 환경 구성이나 실제 화재 이미지 데이터를 확보하기 쉽지 않다는 어려움이 있다.
위와 같은 문제를 해결하기 위해 본 논문에서는 언리얼 엔진 기반 가상 환경 시뮬레이터를 활용한 가상 환경을 구성하여 제작한 해양 환경 화재 가상 데이터셋을 제안한다. 가상 데이터셋은 실제 화재 이미지 데이터 확보가 어려운 해양 환경과 같은 특수한 상황에 유용하다는 장점이 있고, 날씨나 객체 위치와 같은 변수를 조정할 수 있어 다양한 시나리오를 확보하여 데이터 수집이 가능하므로 화재 감지 검출 모델의 성능 향상에 도움을 줄 수 있다.
본 논문은 다음과 같이 구성된다. 먼저, 관련 연구 및 기술 동향을 살펴보고 제안한 가상 화재 검출 데이터셋 구성 방법에 관해 설명한다. 이후, 일반 화재 이미지 데이터만 학 습한 검출 모델과 가상 데이터셋으로 학습한 검출 모델을 실제 해상 화재 이미지를 이용하여 성능을 평가한다.
제안한 데이터셋을 통해 해양 환경에서의 화재에 대한 검출 모델의 성능을 향상하여 실제 상황에서의 초기 대응에 큰 도움을 줄 수 있기를 기대한다.
2. 관련 연구
2.1 화재 검출 데이터셋
화재 데이터셋에는 COCO(Lin et al., 2014)나 PASCAL VOC (Everingham et al., 2010)와 같은 대표적인 데이터셋이 존재하지 않는다. 그래서 보통 FireNet Dataset(Olafenwa, 2019)과 같은 오픈 데이터셋이나 사용자가 직접 크롤링하여 라벨링한 데이터, 또는 Roboflow와 같은 사이트에서 공유된 데이터를 기반으로 데이터셋을 구축하게 된다. 그러나 이러한 데이터들은 대부분 Fig. 2와 같이 화재 이미지의 라벨이 화염 부분만 라벨링되어 있거나 목표 객체에 정확하게 라벨링되어 있지 않아 딥러닝 모델에 부정적인 영향을 미친다(Popowicz et al., 2022).
2.2 가상 데이터셋
가상 데이터셋 구축을 위해서는 일반적으로 Generative Adversarial Networks(Goodfellow et al., 2014), GAN 기반의 딥러닝 모델을 이용하여 데이터를 생성하는 방식과 언리얼 엔진이나 유니티와 같은 게임 엔진을 이용하여 데이터를 생성하는 방식이 사용된다.
2.2.1 GAN 기반 데이터 생성
GAN은 생성자(Generator)와 판별자(Discriminator)로 구성된 딥러닝 모델이다. 생성자가 랜덤한 노이즈에서 데이터를 생성하면, 판별자가 이를 실제 데이터와 구별하며 경쟁적으로 학습이 진행된다. 위 과정을 거치며 생성자는 실제 데이터와 유사한 데이터를 생성하게 된다. GAN 기반의 모델을 활용한 연구로는 Fig. 3과 같이 일반적인 이미지에 화염을 생성하고 라벨링하는 방식으로 화재 데이터셋을 구축한 예시가 있다(Lee et al., 2022). 해당 연구에서는 생성 모델로 구축한 가상 데이터셋과 실제 화재 이미지 데이터셋으로 검출 모델을 학습하여 성능이 향상되는 것을 확인하였다. 또한, 산불 발생 상황의 이미지를 생성하여 분류 모델 학습 데이터로 사용하여 성능을 향상한 연구도 있다(Park et al., 2020). 이러한 연구를 바탕으로 GAN 기반 생성 모델을 사용하면 실제와 비슷한 이미지를 생성하고 이를 학습 데이터에 추가하여 모델을 학습시키면 성능이 향상된다는 것을 확인할 수 있다. 하지만 GAN 기반 생성 방식에는 생성한 데이터의 날씨나 객체의 위치와 같은 환경 변수를 직접적으로 조정할 수 없어 구축하는 데이터셋의 다양성이 부족해지고, 생성된 이미지를 라벨링해야 하는 한계점이 존재한다.
2.2.2 게임 엔진 기반 데이터 생성
게임 엔진은 사실적인 환경과 물리 엔진을 통한 사실적인 움직임을 표현할 수 있기 때문에 가상 데이터셋을 구축하는 데 널리 사용되고 있다. 대표적인 게임 엔진으로는 언리얼과 유니티가 있다. 언리얼 엔진은 에픽 게임즈에서 개발한 3차원 엔진으로 고품질의 그래픽을 제공하여 실제와 유사한 환경을 구성할 수 있다. 유니티는 3D및 2D 게임의 개발환경을 제공하며 다양한 에셋과 플러그인을 지원한다. 언리얼 엔진을 기반으로 가상 데이터를 생성하는 프로젝트로는 마이크로소프트의 AirSim(Shah et al., 2018) 시뮬레이터가 있는 데, 이 시뮬레이터는 사용자가 가상 환경을 구성하여 Fig. 4 와 같은 가상 이미지 데이터와 Instance Segmentation 라벨이나 Object Detection 라벨, Depth Estimation 라벨을 자동으로 수집할 수 있다. 유니티에는 Unity Perception(Borkman et al., 2021)과 같은 생성 데이터 패키지가 존재하고, 유니티를 사용하여 가상 환경을 구성하고 데이터셋을 생성한 UnityShip (He et al., 2021)과 같은 연구가 존재한다. 그러나 게임 엔진으로 데이터를 생성할 때 화염과 같은 Particle Material은 라벨을 자동적으로 생성하기 어렵다는 문제가 있다.
3. 데이터셋 개요
3.1 데이터셋 소개
본 논문에서 제안한 데이터셋은 실제 화재 이미지 데이터를 확보하기 어려운 해양 환경에서의 화재 객체 탐지 인공 지능 모델의 학습을 위해 생성한 것으로, 자율 주행 선박과 같은 도메인에 특화된 언리얼 엔진 기반 시뮬레이터를 사용하여 제작되었다.
3.2 데이터셋 생성 방법
데이터셋 구축을 위해 부산과 울산의 실제 항만시설을 모델링하여 가상의 부두 환경을 구성하였다. 특히 실제 항만 시설의 주요 요소인 크레인, 컨테이너, 선박 객체를 포함하여 현실감 있는 환경을 언리얼 기반 시뮬레이션 도구를 통해 구현하였다. 이미지를 촬영하는 카메라의 경우 항만시설 내의 주요 위치를 감시할 수 있는 높은 위치에 배치하였고, 시나리오 내에서 작업 중인 인부, 이동 중인 차량, 정박 중인 선박 등의 움직임을 설정하여 실제 상황과 유사한 환경을 구현했다. 그리고 다양한 위치와 조건에서 화재가 발생하는 상황에 대한 시나리오를 설정하여 화재의 크기, 위치, 발생 시간 등을 변화시켜 다양한 환경의 데이터를 생성했다.
3.3 데이터셋 구성
데이터셋은 생성된 이미지와 해당 이미지에 존재하는 화재 객체에 대한 좌표가 존재하는 Table 1과 같은 양식의 JSON 파일로 구성되어 있다. 데이터셋 구축을 위해 사용된 시나리오 Type은 총 6가지로 Table 2와 같고, 생성된 이미지는 Fig. 5와 같 다 .
4. 실험 평가
4.1 실험 설정
먼저 일반적인 화재 검출 모델을 학습하기 위해 FireNet 학습 데이터셋 412장과 Roboflow 오픈 데이터셋 2,621장 (Roboflow, 2022)을 준비하여 총 3,033장의 일반 화재 데이터셋을 구축하였다. 평가에 사용된 데이터셋은 실제 선박이나 항만에서 화재가 발생한 상황의 영상을 크롤링하고 라벨링하여 총 544장으로 구성했다. 실험은 NVIDIA TITAN RTX 그래픽 카드에서 진행하였으며, 사용된 검출 모델은 YOLOv5(Jocher, 2020), YOLOv8(Jocher et al., 2023), RT-DETR(Zhao et al., 2024) 로 총 3가지 모델을 Ultralytics로 학습해 평가했다. 검출 모델 학습에 사용된 하이퍼 파라미터는 Table 3과 같다. YOLOv5의 기본 입력 해상도인 640x640을 사용하였으며, 충분한 학습을 위해 epoch를 300회로 지정하였다. 또한, 배치 크기(Batch Size)를 128로 설정하여 그래픽 카드의 메모리 사용량을 최적화하였고, 검출 모델의 일반화 성능을 개선하기 위해 이미지 회전(Degrees), 이미지 크기 조정(Scale), Mosaic 기법과 같은 데이터 증강 방법을 적용하였다.
일반적으로 검출 모델의 성능을 평가하기 위해 사용하는 지표로는 주로 Precision, Recall, mAP50, mAP50:95등의 방법이 사용된다. 본 논문에서는 일반 화재 데이터셋으로 학습한 검출 모델과 가상 데이터셋 4,000장으로 학습한 검출 모델을 평가 데이터셋에서 성능을 측정하여 비교하였다.
4.2 가상 데이터셋 성능 비교
Table 4는 검출 모델의 성능을 평가하는 지표인 Precision, Recall, mAP50, mAP50:95에 대한 결과이다. 일반 화재 데이터셋으로 학습한 YOLOv5, YOLOv8, RT-DETR-L 세 가지의 검출 모델 대부분 각각의 지표에서 0.1(10%)를 넘지 못하는 성능을 보였다. 반면 가상 데이터 4,000장으로 학습한 세 가지의 검출 모델은 Precision, Recall, mAP50 지표에서 0.5(50%)를 넘으며 향상된 성능을 보여주었다. 특히 RT-DETR-L 모델은 mAP50:95에서 0.529의 최댓값을 달성하였고, 이를 통해 가상 데이터를 학습에 활용하는 것이 검출 모델 성능에 긍정적인 영향을 미친다는 것을 알 수 있다. Fig. 6은 평가 데이터셋에서의 검출을 시각화한 결과이다.
일반 화재 데이터셋으로 학습한 검출 모델 대부분 화재 객체 중 화염 부분은 검출하는 모습을 볼 수 있으나, 화염이 보이지 않고 연기만 보이는 특수한 상황의 이미지에서는 해당 화재 객체를 검출하지 못한다는 것을 볼 수 있다. 반면 가상 데이터로 학습한 검출 모델은 연기와 화재를 포함한 정확한 경계를 검출할 수 있었고, 연기만 분출되는 이미지에서도 실제 화재 부분을 검출할 수 있었다.
검출 모델의 성능 지표는 모델이 예측한 Bounding Box 영역과 실제 라벨링 영역의 겹침 정도를 판단하는 IoU score를 통해 결정되기 때문에 이러한 이유로 일반적인 화재 데이터 셋으로 학습한 검출 모델은 화재 객체에서 화염만 검출되기 때문에 성능이 낮게 나온 것으로 판단된다. 가상 데이터셋으로 학습한 검출기는 화염이 포함된 화재 객체뿐 아니라 실제 해양 환경에서 주로 발생하는 상황인 연기만 분출되는 이미지에서도 검출기에서 인식이 된다는 것을 볼 수 있다. 또한 신뢰도 점수를 도출했을 때 검출한 대부분의 객체가 0.8(80%) 이상의 값을 가진다는 것을 통해 높은 신뢰도를 가지고 우수한 성능으로 검출한다는 것을 알 수 있다.
5. 결 론
본 논문에서는 실제 데이터를 수집하기 어려운 해양 환경에서의 화재를 감지하는 검출기 모델 학습을 위해 게임 엔진을 기반으로 한 가상 환경에서 데이터를 수집하여 구축한 데이터셋을 제시하였다. 실험 결과, 가상 화재 이미지 데이터를 학습 데이터셋으로 사용함으로써 실제 해양 환경 화재 상황에서 검출기의 주요 성능 지표인 정밀도(Precision), 재현율(Recall), mAP50, mAP50:95에서 뚜렷한 향상이 나타남을 볼 수 있었다.
그러나 가상 환경에서 데이터를 수집하는 것은 가상 데이터로 실제 해양 환경에서의 화재 데이터를 완벽히 대체할 수 없다는 점과 가상 데이터의 품질에 따라 검출기의 성능에 부정적인 영향을 미칠 수도 있다는 점에서 분명한 한계가 존재한다. 이를 해결하기 위해 향후 연구에서는 실제 상황과 비슷한 데이터를 얻기 위한 데이터 생성 기법의 개선과 함께 실제 화재 데이터와 가상 데이터 학습 데이터셋 구성의 최적 방법을 탐구할 예정이다. 또한, 가상 데이터를 활용한 다른 응용 분야에 관한 연구를 확장하여 여러 특수한 상황에서의 검출기의 성능 향상 가능성을 모색할 계획이다.
본 연구는 가상 데이터를 활용하여 해상 환경에서의 화재 발생과 같은 특수한 상황에서의 검출기 성능을 향상한 것으로 가능성을 보여주었으며, 가상 데이터 생성 및 딥러닝 기술의 발전을 통해 화재로 인한 피해를 최소화하는 것에 기여할 수 있을 것으로 기대한다.
