1. 서 론

오늘날 인공지능 기술의 급속한 발전은 자동차, 항공기, 선박 등 수송 분야에서 무인 이동체 기술의 혁신을 가속화하고 있다. 해양 분야에서도 이러한 추세에 맞추어 인간의 개입을 최소로 하는 자율운항선박에 대한 연구가 활발히 진행되고 있다. 그러나 현재 기술로는 모든 상황을 인공지능으로 대체하는 데 한계가 있어, 주로 일반적인 상황을 시스템화하는 데 중점을 두고 있다(Kim and Jang, 2019). 해운 분 야에서 자율운항선박의 도입은 승무원의 감소로 이어질 것 으로 예상되며, 이는 선박 정비 방식에 대한 새로운 접근방법을 요구한다. 기존의 선박 정비는 주로 운전시간에 기반한 정기적 정비 방식을 채택해 왔다. 그러나 선박 기기들은 예정된 정비 시간 이전에 문제가 발생할 가능성이 항시 존재하며, 선박의 운항 손실과 안전사고 위험을 예방하기 위한 상태기반정비(CBM: Condition-based maintenance) 방식은 적 절한 대안이 될 수 있다. 이에 관한 사례는 선박의 배관 시스템에서 특히 두드러진다. 선박에는 유류, 해수, 청수, 증기 등 다양한 유체를 수송하는 복잡한 배관망이 존재한다. 하지만 다른 선박 기기들과 달리, 배관 시스템은 명확한 정비 주기가 설정되어 있지 않다. 더욱이 배관의 상태와 실제 운전시간을 정확히 파악하기 어려워, 잠재적 손상을 예측하고 예방하는 것이 현실적으로 어렵다. 이 문제를 해결하기 위해 최근 배관 상태를 실시간으로 모니터링할 수 있는 기술 연구가 활발히 진행되고 있다. ER(Electrical Resistance) 및 LPR(Linear Polarization Resistance) 센서를 이용한 배관의 실시간 두께 모니터링 기법(Shin et al., 2022), TDR(Time Domain Reflectometry) 기반의 누수 위치 탐지 기법(Scarpetta et al., 2023) 등은 수관의 상태 모니터링을 위한 연구 사례이다.

선박에서는 수관뿐만 아니라 증기 배관의 상태 모니터링 역시 중요하다. 증기는 터빈 구동기기의 작동 유체로 사용되기도 하며 연료유 가열, 화물의 온도 조절 등 다양한 용도로 사용된다. 일반적으로 증기 배관은 고온의 증기가 배관을 통과함에 따라 발생하는 열손실을 효과적으로 줄이기 위해 보온재로 감싸여져 관리되고 있다. 이로 인해 배관 표면에 직접적으로 센서를 부착하는 것이 까다롭고, 증기 배관 의 초기 누설이 발생하더라도 육안으로 이를 감지하는 것은 쉽지 않다. Choi et al.(2012)은 증기 배관의 누설에 따른 열 쉬머(Heat shimmer) 현상에 착안하여 CCTV로부터 획득되는 기기의 정지상태 영상과 누설상태 영상 간의 비교를 통해 증기 배관 누설 감지에 관한 문제를 다루었다. 이 연구는 RGB 카메라만을 이용한 해법을 제시했다는 점에 있어 주목할 만하지만, RGB 영상 정보만으로는 보온재로 싸인 증기 배관의 초기 누설 상황을 감지하는 것에 한계가 있다.

열화상카메라(Thermal camera)는 물체에서 방출하는 적외선 복사열을 이용하여 온도정보를 직접 획득할 수 있으며, 조명 환경에 구애받지 않고 야간에도 사용할 수 있다는 장점이 있다. Taheri-Garavand et al.(2015)은 라디에이터를 대상으로 획득된 6가지 결함에 대한 Thermal 영상 샘플을 이용하 여 인공 신경망(ANN:Artificial neural network)을 학습시킨 후 결함을 진단하였다. Choi and Cho(2018)는 비포장도로에서의 수도관 누수 이미지들을 이용하여 DCNN(Deep convolution neural network)을 학습시킨 후 누수 지점을 추론하는 방법을 제시하였다. 이와 같은 Thermal 영상 정보는 관심 영역에 대한 구체적인 온도정보를 나타내기 때문에 증기 배관의 누설에 따른 이상 온도영역의 탐지에는 유리하다. 그러나 RGB 영상과 같은 텍스쳐(Texture) 정보가 부족하므로 감시 영역을 명확하게 구분하는 것에는 한계가 있다.

RGB 영상과 Thermal 영상을 함께 이용한 연구로 Li et al.(2019)은 RGB-Thermal 데이터를 결합한 CNN 기반의 해법을 제안하였다. 이 연구는 RGB-Thermal 융합 신경망(Fusion network)을 통해 단일 이미지에서 부족한 정보를 보완하고 원유 배관에 대한 누설 정도를 단계별로 분류하였다. 그러 나 이 방법은 실제 누설 흔적이 있는 배관에 대한 다량의 영 상 데이터가 필요하다는 점에서 보온재로 감싸여진 증기 배관에 적용하는 것은 한계가 있다.

본 논문은 하나의 RGB 카메라와 하나의 열화상카메라를 이용하여 RGB-Thermal 카메라 센서를 새롭게 구성하고 이를 기반으로 하는 실시간 증기 배관 누설 감지 센서 시스템을 제안한다. 또한 선박 기관실 등의 환경에서 독립적인 센서 시스템의 구현을 위해 필요한 하드웨어 및 소프트웨어 설계 방법을 제시한다. 특히 감시 영역에 대한 증기 누설 감지 기 준을 격자 형태로 세분화한 열-지도(Thermal map)를 정의하 고, 열-지도를 이용한 이상 고온 감지 및 시각화 알고리즘을 제안한다. 제안된 방법은 실제 기관실 배관 시스템을 모사 한 실험 장치를 이용하여 수행된 실험을 통해 그 효용성이 평가된다.

본 논문의 구성은 다음과 같다. 제2장은 증기 배관 누설 감지 시스템의 하드웨어 및 소프트웨어 구성에 관해 설명한다. 제3장은 누설 감지를 위한 알고리즘에 관해 상세히 기술한다. 제4장은 제안된 시스템의 평가를 위한 실험 및 결과를 설명하고, 마지막으로 제5장에서 결론을 맺는다.

2. 증기 배관 누설 감지 시스템의 구성

2.1 하드웨어 시스템

제안된 시스템의 하드웨어 구성은 Fig. 1과 같이 센서부와 제어부로 구성되어 있다. 센서부에는 하나의 RGB 카메라와 하나의 열화상카메라가 탑재되어 있다[Fig. 1(a)]. 열화상카메라는 증기 배관 및 주변 환경에 대한 온도정보를 획득하는 데 유용하지만, 주변 환경에 대한 텍스쳐 정보를 획득할 수 없어 누설부의 정확한 위치를 식별하기에는 어려움이 있다. 이러한 이유로 제안된 센서 시스템은 열화상카메라와 RGB 카메라가 함께 탑재될 수 있도록 설계되어 있다. 두 개의 서로 다른 영상의 정합에 있어 각각의 카메라 좌표계가 서로 일치되는 것이 이상적이지만 이는 물리적으로 불가능하다. 따라서 RGB 카메라와 열화상카메라가 밀착되도록 Fig. 1(b) 와 같이 최소한의 간격을 두고 나란히 배치되어 있다.

시스템에 탑재되는 열화상카메라는 기관실의 온도 환경에서도 사용 가능하면서 가격 대비 성능이 비교적 양호한 FLIR사의 Boson 6.3mm 모델을 이용하였다. 열화상카메라의 해상도는 RGB 카메라에 비해 상대적으로 낮은 320×256의 해상도를 가지지만 증기 배관의 누설 감지에의 활용 가능하다. RGB 카메라는 제품의 크기와 성능, 인터페이스 방식을 고려하여 Arducam사의 12MP IMX477 Mini 카메라 모듈이 채 택되었다. 카메라의 해상도는 다수의 선택사양이 존재하나 본 연구에서는 열화상카메라의 해상도를 고려하여 640×480 을 채택한다. RGB 카메라 모듈은 CSI-USB UVC 카메라 아답터 보드를 통해 USB 인터페이스로 변환된다. 열화상카메라 의 인터페이스 방식 또한 USB인데, 두 개의 USB 신호를 하나의 신호로 변환시키기 위해 소형 USB 허브 모듈을 통해 제어부와 연동된다.

제어부는 선박 기관실의 제한적인 공간에서도 설치가 가능하도록 소형·독립형 모듈 형태로 구성되며, 케이스 내부에는 영상 데이터 등의 실시간 처리가 가능한 라즈베리파이 기반의 임베디드 제어기가 장착되어 있다. 임베디드 제어기 내부에는 네트워크상에서 서버 역할을 수행하면서 TCP/IP를 통해 다른 클라이언트 장치로 처리된 결과를 전송하는 카메 라 서버 모듈이 구현되어 있다. 임베디드 제어기 상단에는 네트워크 선로를 통해 전원공급이 가능하도록 PoE(Power over Ethernet)모듈이 탑재되어 있다. 이러한 구성은 선박 기관실 내에서 다양한 센서 데이터 수집을 위한 중계기가 설치되어 있는 상황을 고려한 것이다. 특히 PoE 방식은 전원 공급 및 데이터 전송이 하나의 UTP 케이블로 구성 가능하다 는 점에서 배선 작업이 간소해지는 이점이 있다.

2.2 소프트웨어 시스템 구성

제안된 시스템의 소프트웨어는 Fig. 2에서 나타난 바와 같이 카메라 서버 모듈과 기능적으로 분산된 4개의 클라이언트 모듈로 구분된다. 카메라 서버 모듈은 임베디드 제어기 내부에 구현되며, 클라이언트 모듈은 별도의 외부 장치에 설치되어 네트워크 통신을 통해 연동될 수 있다. 한편, 모든 클라이언트 모듈들은 또한 임베디드 제어기 내부에도 설치 되어 있는데, 이는 별도의 외부 컴퓨팅 장치 없이 독립적인 실행이 필요한 경우를 대비한 것이다. 클라이언트 모듈은 카메라 보정 모듈, 영상 정합 모듈, 열-지도 학습 모듈, 추론 및 시각화 모듈로 구성된다.

2.2.1 카메라 서버 모듈(Camera server module)

감시 시스템을 구현하는 과정에서, 네트워크상의 서버 기능을 수행하면서 센서 데이터 취득 또는 특정 기기의 제어를 위한 유사한 형태의 여러 모듈을 프로그래밍하는 경우들이 빈번히 발생한다. 이때 모델의 모델 즉, 메타모델(Meta model)을 적절하게 정의하면 소프트웨어를 체계적으로 구조화할 수 있다. 본 논문은 앞서 언급한 기능들을 구현하기 위하여 TCP 통신부와 컨트롤러(Controller)로 구성되는 메타모델을 통해 모듈을 구성하였다. 이때 서버 단의 TCP 통신부 는 TCP 소켓 핸들러(Socket handler)로, 클라이언트 단은 TCP 소켓 클라이언트(Socket client)의 이름으로 구분된다.

카메라 서버 모듈의 TCP 소켓 핸들러는 클라이언트의 접속을 관리한다. 또한 입력 영상의 처리를 위해서 다양한 파라미터가 필요한데, 소켓 핸들러는 클라이언트의 요청으로 해당 파라미터를 전송받고 이를 갱신하기 위한 이벤트 처리를 담당한다. 카메라 내부 파라미터(Intrinsic parameters)는 카메라 보정 모듈로부터 전송되어 파일 형식으로 관리되고 활용된다. 동일한 방법으로 호모그래피 행렬(Homography matrix) 및 열-지도(Thermal-map)는 각각 영상 정합 모듈 및 열-지도 학습 모듈로부터 전송되고 관리된다. 서버 모듈의 컨트롤러는 내부적으로 수행되는 타이머 이벤트(Timer event) 처리를 통해 일정 시점에서 두 영상을 획득하고 영상 보정 및 정합을 수행한 후 기존 데이터들을 업데이트한다. 이렇게 현시점에서 업데이트된 데이터는 소켓 핸들러를 통해 발생한 이벤트에 맞추어 클라이언트로 전송된다.

2.2.2 카메라 보정 모듈(Camera calibration module)

일반적으로 3차원 공간상의 물체는 카메라를 통해 2차원 영상으로 투영되는 과정에서 렌즈의 물리적인 특징으로 인한 영상의 왜곡이 발생한다. 이러한 영상의 왜곡을 제거하기 위해서는 초점거리(Focal length), 주점(Principle point), 왜곡 계수(Distortion coefficients)와 같은 내부 파라미터(Intrinsic parameters)를 추정하는 작업이 필요하다. 카메라 보정 모듈은 각 카메라 파라미터의 추정을 위한 작업 환경을 제공하는 모듈이다. 카메라 보정 모듈을 이용한 보정 절차는 다음과 같다. 첫째 체스보드 패턴을 이용하여 카메라 서버로부터 영상 샘플을 수집한다. 둘째 수집된 샘플들에 대해 Zhang(2000)의 방법 등을 이용하여 카메라 내부 파라미터를 추정한다. 셋째 추정된 내부 파라미터를 카메라 서버에 전송한다. 이렇게 전송된 파라미터들은 카메라 서버 모듈 내부의 컨트롤러에 의해 입력되는 실시간 영상에 반영된다.

2.2.3 영상 정합 모듈(Image registration module)

RGB 카메라와 열화상카메라로부터 획득된 영상들은 화각 및 해상도 등이 각각 다르므로 두 영상을 겹치게 되면 서로 일치하지 않는다. 영상 정합 모듈은 겹쳐진 두 영상이 일치될 수 있도록 정합하기 위한 변환행렬을 추정하는 모듈이다. 본 논문은 이와 같은 변환행렬로서 호모그래피 행렬(Homography matrix)를 이용한다.

호모그래피 행렬은 두 영상 평면에 대한 기하학적 변환 관계를 나타내는 행렬(H ∈ ℝ^{3 × 3})을 나타낸다. 일반적으로 영상 내의 한 점 x = (x, y)^⊤은 z요소가 1인 ℝ³의 동차 표현(Homogeneous representation)으로 확장할 수 있다. 동차 표현된 RGB 영상 평면 위의 한 점 x_g = (x_g, u_g, 1)^⊤는 호모그래피 행렬 H 를 통해 Thermal 영상 평면 위의 한 점 x_t = (x_t, y_t, 1)^⊤로 변환될 수 있으며, 이 관계는 식(1)과 같다.

호모그래피 행렬 H 는 두 평면 내에 존재하는 최소 4쌍 이상의 서로 다른 대응점으로부터 산출 가능하며, 이를 위해 DLT(Direct linear transformation) 기법이 이용된다. 이 과정 에서 이상치(Outlier) 제거를 통한 추정 정확도 향상을 위해 RANSAC(Random sample consensus) 기법이 적용된다.

영상 정합 모듈을 이용하여 RGB 영상과 Thermal 영상을 정합하는 과정은 다음과 같다. 첫째 특징점 추출을 위한 체스보드패턴 등을 이용하여 RGB 영상과 Thermal 영상 샘플을 각각 수집한다. 둘째 추출된 특징점들로부터 대응점 집합을 구성하고 식(1)을 만족하는 호모그래피 행렬 H 를 추정한다. 셋째 추정된 호모그래피 행렬을 카메라 서버 모듈에 전송한다. 일단 호모그래피 행렬이 서버 모듈로 전송되면, 서버 모듈의 컨트롤러는 현재 입력된 실시간 영상에 반영하여 정합된 영상을 생성한다.

본 연구에서는 영상 정합을 위한 기준 공간으로 320×240의 Thermal 영상 공간(원본 영상은 320×256이나 영상 중심 기준 320×240의 영역만을 적용)을 이용하며, 640×480의 RGB 영상을 기준 공간으로 원근 투영(Perspective projection)한다. 이 과정에서 화질 저하를 방지하기 위해 3차 스플라인 보간 법(Cubic spline interpolation)이 적용된다. 최종적으로 정합된 영상은 2채널의 Thermal 정보(16비트 분해능의 온도)와 1채널의 Gray 정보를 인코딩(Encoding)하여 3채널의 영상 데이터 를 생성하는데, 이는 두 가지 이유가 있다. 먼저 시각화 단계에서 가상의 색상맵(Color map)이 적용된 열 정보와 주변 텍스쳐 정보를 명확하게 구분하기 위함이다. 다음으로 네트워크를 통해 전송되는 영상 데이터의 길이를 줄이기 위함이다. 앞으로 본 논문은 정합이 완료된 Gray 영상과 Thermal 영상을 통칭하여 GT 영상(Gray-thermal image)이라 명명한다.

2.2.4 열-지도 학습 모듈(Thermal map training module)

열-지도는 감시 영역에 대한 증기 누설 감지 기준을 격자 형태로 세분화시킨 구조체로서 각 셀에는 온도 파라미터가 저장된다. 열-지도 학습 모듈은 샘플 영상들을 이용하여 각 셀의 온도 파라미터들을 사전에 학습시키기 위한 모듈로서 그 학습 절차는 다음과 같다. 첫째 선박 내 보일러(Boiler)를 가동하여 증기 배관 온도가 상승하여 정상 온도 상태를 가지는 충분한 시간 동안 감시 영역의 Thermal 영상 샘플을 수집한다. 둘째 수집된 Thermal 영상 샘플을 이용하여 열-지도의 학습을 수행한다. 열-지도의 학습에 관해서는 3.1절에서 구체적으로 설명하기로 한다. 셋째, 일단 열-지도가 학습되면 학습된 열-지도 데이터를 카메라 서버 모듈에 전송한다. 서버 모듈은 이렇게 전송받은 열-지도를 실시간 영상에 반영하거나 다른 클라이언트에서 요청이 있을 시 이 데이터를 전송한다.

2.2.5 추론 및 시각화 모듈(Inference & visualization module)

추론 및 시각화 모듈은 사전에 학습된 열-지도를 기반으로 이상 고온 영역 감지를 통한 증기 누설 여부를 추론하여 이를 시각화하는 기능을 수행한다. 이때 열-지도는 서버 모듈에 요청하여 전송받을 수 있으며, 이와는 별개로 서버 모듈로부터 실시간으로 전송되는 GT 영상을 재구성하여 출력 영상을 생성한다. 출력 영상은 Gray 영상 위에 이상 고온 영역을 가상온도색상으로 오버레이(Overlay)하여 누설 부가 직관적으로 구별될 수 있도록 구성된다. 추론 및 시각화 방법에 대한 구체적인 내용은 3절에서 상세히 설명한다.

3. 증기 배관 누설 감지 알고리즘

3.1 열-지도의 정의 및 학습

보온재에 싸인 증기 배관에 누설이 발생하면 고온의 누설 증기로 인해 누설부 주위의 온도는 평상시에 비해 상승한다. 증기 누설과 온도 상승과의 인과관계를 이용하면 이상 고온의 결과를 통해 증기 누설 여부의 추론이 가능하다. 본 논문은 이상 온도를 판단하기 위한 근거를 영역별로 확장하기 위해 다음과 같은 열-지도(Thermal map)를 제안한다. 열-지도는 감시 공간을 세분화한 격자 형태의 구조체로서, 각 셀에는 이상 고온의 판단 기준이 되는 파라미터가 저장된다 [Fig. 3(a) 참조]. 본 논문은 열-지도의 셀 파라미터들을 다수의 영상 샘플을 이용하여 산출할 것이므로 이 과정을 “학습”의 용어로 표기한다. 열-지도의 셀 파라미터 학습 규칙을 마련하기 위해 우선 다음의 두 가지 사항을 고려한다. 첫째 감시 영역에 대한 공간적 온도 분포(Spatial temperature distribution)가 서로 다르다. 이는 이상 온도의 기준이 감시 구간별로 다르게 설정되어야 함을 의미한다. 그런데 제안된 카메라 센서 시스템이 벽면에 고정된다는 점, 열 정보가 픽셀 그리드 형태의 영상으로 제공된다는 점을 고려하면 Thermal 영상 자체의 구조를 열-지도의 구조 그대로 이용할 수 있다. 둘째 동일한 위치에 놓인 물체에 대해서도 시간적 온도 분포(Temporal temperature distribution)가 다르다는 것이다. 즉, 열-지도의 각 위치에서의 온도분포를 함축하여 저장하는 방법이 필요한데 이를 위해 통계치를 활용하는 방법, 확률적 모델에 기반한 기법 등이 적용될 수 있다. 실제 선박이 정박에서 항해 모드로 전환되는 과정에서 증기 배관의 상태 변화에 대한 다음의 시나리오를 고려할 수 있다. 우선 보일러가 정지되어 있거나 배관의 밸브가 닫혀 배관 내 증기가 흐르지 않는 경우 배관 온도가 저온으로 유지되는 초기 상태를 가진다. 이를 콜드 상태(Cold state)라 명명한다. 보일러 기동 또는 배관의 밸브 조작 후 배관의 온도는 점차로 상승하며 항해 모드로 전환되어 충분한 시간이 경과하면 배관 온도는 정상상태에 도달한다. 이때의 상태를 웜 상태(Warm state)라 명명한다. 웜 상태에서부터는 배관 온도가 기관실 온도에 비례하여 일정하게 유지될 것이다. 만일 배관의 특정 위치에서 증기 누설이 발생한다면 보온재로 인해 누설 부위의 온도는 웜 상태에 비해 높아질 것이다. 이러한 시나리오를 토대로 열-지도의 학습 시 고려할 사항들을 요약하면 다음과 같다. 우선 열-지도가 콜드 상태에서 웜 상태 까지의 온도분포를 함축할 수 있는 학습이 필요하다. 이때 증기 누설 상황의 특성상 이상 저온보다는 이상 고온의 감지에 적합한 학습 전략이 필요하다.

선박의 특성상 배관이 콜드 상태에서 웜 상태까지 도달하기에는 다소 장시간이 소요된다. 카메라의 일반적인 FPS (Frames per second)를 고려하여 학습을 위한 열영상 샘플을 수집하는 상황에서, 배관의 시간별 온도변화가 미미한 모든 영상 프레임을 수집하는 것은 저장 공간 등의 자원관리 차원에서 비효율적이다. 반면 매 프레임에는 노이즈가 포함될 가능성이 존재하므로 단순히 일정 주기로 샘플링을 수행하는 방법은 지양되어야 한다. 이에 본 논문은 열화상카메라 로부터 캡처되는 모든 프레임에 대한 온도의 상태 변화를 고려하면서 샘플 수를 크게 줄일 수 있는 Max-of-Min 기반의 이중 샘플링 전략(Dual sampling strategy)을 제안한다.

논문에서 제안된 이중 샘플링은 샘플링 단계를 메인샘플링(Main sampling)과 서브샘플링(Sub sampling)의 두 개 단계로 나누어진 데이터 수집 방법이다[Fig. 3(c) 참조]. 메인샘플링 은 열-지도 학습을 위해 실제 데이터를 수집하는 시간 간격을 가지며, 그 순번을 첨자 i로 나타낸다. 또한 서브샘플링은 열화상카메라로부터 캡처되는 실시간 주기를 따르며, 그 순번을 첨자 j로 나타낸다. 여기서 서브샘플링의 순번 j는 메인샘플링 시점에서 1로 초기화된다. 이와 같은 표현법을 적용하여, 열화상의 한 픽셀 좌표 (u,υ)에 대해 i-번째 메인샘 플링 단계에서 수행된 j-번째 서브샘플의 온도를 T_ij (u,υ)라 하자. 만일 T_i1 (u,υ)부터 T_iM (u,υ)까지 M개의 서브샘플들을 수집했다고 했을 때, 열-지도의 셀 좌표 (u,υ)에 대한 i번 째 메인샘플은 식(2)의 규칙을 적용하여 산출된다.

여기서 min [⋅] 은 괄호 내의 요소들에 대한 최소값을 취하는 연산자를 나타내며, 열-지도의 모든 셀에 대하여 식(2)의 산출규칙이 적용된다. 이러한 과정을 통해 N개의 메인샘플 들이 수집되면 최종적인 열-지도는 모든 셀에 대하여 식(3) 을 적용하여 산출된다.

여기서 max [⋅] 은 괄호 내 요소들의 최대값을 나타낸다. 본 논문에서 제안된 Max-of-Min 기반의 이중 샘플링 방법은 식(2)~(3)의 산출규칙이 적용된 것이다. 이를 간략히 요약하면 메인샘플들은 서브샘플들의 최소값을 취함으로써 수집되고 저장되며, 최종적으로 열-지도는 이 메인샘플들의 최대 값을 취하여 학습된다. 이렇게 학습된 열-지도는 개별적인 셀의 위치에 대해서 이상 고온을 판단하기 위한 경계값으로 활용될 수 있다.

3.2 이상 고온 감지 및 시각화 알고리즘

이상 고온 감지 및 시각화 알고리즘은 사전에 학습된 열- 지도를 기반으로 실시간 입력되는 GT 영상에 대하여 이상 고온 영역을 감지하고, 감지된 영역이 시각적으로 증강되도록 재구성된 영상을 출력한다. Fig. 4는 제안된 알고리즘의 구성을 나타내고 있다.

알고리즘에 입력되는 GT 영상은 우선 디코딩(Decoding)과정을 거쳐 Gray 영상(I_R )과 Thermal 영상(T_R )으로 분해된다. Thermal 영상 T_R은 전처리(Preprocessing) 단계를 거친 후 노이즈가 제거된 T_R′을 생성한다. 전처리 단계에서는 저역통과필터 기능을 수행하는 가우시안 블러(Gaussian blur) 기법이 적용된다. 이상치 감지(Anomaly detection)단계에서는 사전에 학습된 열-지도 T_N와 현재 입력된 Thermal 영상 T_R′ 정보를 이용하여 해당 셀 위치에서의 이상치 여부를 식(4)의 결정규칙을 통해 판단한다.

여기서 ε은 민감도 조정을 위한 오프셋(Offset)을 나타낸다. 식(4)의 결정규칙은 각 셀에 대해 현재 관측된 온도가 열-지도상의 온도보다 일정 이상 높은 경우에는 이상 고온(1)으로, 그렇지 않은 경우는 정상(0)으로 판단한다. 모든 셀에 대해 이와 같은 결정규칙을 적용하면 이상치 여부의 판단 결과가 이진(Binary) 형태로 표현되는 하나의 행렬(D)이 산출된다. 이 행렬은 또한 시각화 단계에서 오버레이용 마스크 영상(Mask image)으로 활용한다.

시각화 알고리즘은 이상 고온이 감지된 영역을 추출한 후, 온도정보가 강조되도록 Gray 영상 위에 가상의 색상으로 증강한 영상을 재구성하여 출력한다. 이를 위해서는 우선 Gray 영상과 Thermal 영상에서 각각 정상 온도에 해당하는 배경부(Background) 영역과 이상 고온에 해당하는 전경부 (Foreground) 영역을 추출할 필요가 있다. 전경부와 배경부를 나타내는 영상을 각각 I_fg , I_bg라 하면, 두 영상은 실시간 Gray 영상(I_R), 전처리된 Thermal 영상(T_R′), 마스크영상(D ) 을 이용하여 생성 가능하다. 먼저, 각 픽셀 위치(u,υ)에서의 전경 I_fg (u,υ)은 T_R′과 D 로부터 식(5)의 연산을 통해 생성된다.

여기서 (⋅)연산은 AND 연산을 나타내며, 이 연산을 통해 이상 고온을 나타내는 D (u,υ) = 1인 픽셀에 대해서만 I_fg (u,υ) = T_R′(u,υ)의 값을 가지며 나머지는 0인 전경 영상이 생성된다. 이와 유사한 방법으로 배경 영상은 식(6)의 연산을 통해 생성된다.

여기서 D는 D 의 NOT 연산 결과를 나타내며, 식(6)의 연산을 통해 정상 온도 D (u,υ) = 0인 픽셀에 대해서만 I_bg (u,υ) = I_R (u,υ)로 대입된다. 식(5)~(6)을 통해 생성된 두 영상은 1채널로서 색상맵을 적용시키기 위해서는 3채널로의 변환이 필요하다. 최종적으로 출력 영상 I_o는 식(7)의 연산을 통해 생성된다.

여기서 f(⋅)는 온도를 3채널 색상으로 변환하는 함수이며, g (⋅)는 1채널 Gray 수치를 3채널의 RGB 수치로 매핑하는 함수를 나타낸다.

4. 실험 결과 및 고찰

4.1 실험 환경

실제 선박에서 증기 누설 상황을 구현하는 것은 위험을 초래할 수 있으므로, 본 논문에서는 랩스케일의 실험 장치를 통해 제안된 시스템의 성능 평가를 위한 실험을 수행하였다. Fig. 5는 증기 배관 및 밸브 등으로 구성된 실험 환경을 나타낸다. 증기 배관의 입구 측은 소형 보일러(Boiler)와 연결되어 있으며 출구 측은 밸브를 거쳐 외부로 배출되는 단순한 구조로 구현되어 있다. 증기 배관의 경우 실제 선박에서 많이 사용되는 10K-40A 직경이 설치되어 있다. 또한 기관실 환경과 유사한 환경을 구축하기 위해, 배관 주위를 보온재로 감쌌고 이를 통해 누설이 발생하더라도 육안으로 쉽게 식별하기 어려운 환경 여건을 조성하였다. 보일러로부터 생성되는 증기의 압력은 실제 운항 중인 선박에서와 유사한 6kg/cm²로 설정하였다. 특히 배관의 누설을 모사하기 위해서 Fig. 5와 같이 배관 한쪽에 드레인 밸브(Drain valve)를 설치하였고, 이 밸브를 통해 누설량을 조절할 수 있는 구조로 실험 장치를 구성하였다. 실험 장치의 증기 누설 감시를 위한 카메라 센서 시스템은 배관과 약 1.3m 간격을 두고 위치되도록 설치되었다.

누설 감지 성능 평가 실험에 앞서 두 영상의 정합 작업이 선행될 필요가 있는데 이에 대한 설명은 다음 절에서 우선하여 다룬다. 참고로 논문에서 제안된 모든 알고리즘은 OpenCV 4.10 라이브러리를 기반으로 Python 3.8 개발환경에서 구현되었다.

4.2 실험 결과

4.2.1 RGB-Thermal 영상 정합 성능 평가

본 절에서는 2.2.2절에서 기술한 영상 정합에 관한 실험 및 평가 결과를 다룬다. 영상 정합은 두 개의 서로 다른 해상도와 크기를 가지는 RGB 영상과 Thermal 영상을 하나의 영상으로 정합시키기 위한 과정으로, 식(1)을 만족하는 호모 그래피 행렬을 추정하는 문제로 귀결된다. 이를 위해서는 3차원 공간상의 점들이 두 영상에 동시에 투영되어 관측되는 대응점들의 추출이 필요하다. 이러한 과정에서 RGB 카메라의 경우 흑색과 백색이 교차된 체스보드(Chessboard)가 일반적으로 이용되는데, 이렇게 추출된 교차점들을 이용하여 대응쌍을 비교적 쉽게 구성할 수 있다. 반면 Thermal 카메라의 경우 일반적인 체스보드의 패턴(Pattern)을 식별할 수 없으므로, RGB 카메라와 Thermal 카메라 영상에 동시에 적용 가능한 특수한 형태의 패턴 및 인식 기법이 필요하다(Elsheikh et al, 2023;Hilsenstein, 2005).

Thermal 카메라는 물체에서 방출하는 적외선 복사열을 이용하여 온도정보를 획득하므로 물리적으로 온도차를 생성 할 수 있는 패턴의 구조가 필요하다. 이러한 문제를 해결하기 위해 본 연구에서는 Fig. 6(a)와 같이 PCB 기판에 이용되는 구리판(Copper plate)과 플라스틱(Plastic) 재질을 이용하여 서로 다른 열전도율을 갖도록 특수한 체스보드 패턴을 210×297mm의 크기로 제작하였다. 또한 구리와 구분되는 색상의 플라스틱 재질을 격자 구조로 교차시킴으로써 RGB 카메라를 통해 입력되는 영상에서도 패턴이 인식될 수 있도록 체스보드를 설계하였다. 체스보드를 온풍기를 이용하여 가열한 후, RGB 카메라와 Thermal 카메라를 통해 획득된 영상은 Fig. 6(b), (c)와 같다. 두 영상에는 또한 체스보드패턴의 인식을 통해 추출되고 순서화된 특징점들(Sequential features) 이 명시적으로 출력되어 있다. 본 논문에서는 매 영상 쌍에서 순서화된 특징점들을 수집하여 대응점 집합을 구성하였고, 이를 이용하여 RANSAC을 적용한 DLT 방법을 통해 식 (1)을 만족하는 호모그래피 행렬을 추정하였다.

특수 제작된 체스 보드를 이용하여 RGB 영상과 Thermal 영상의 정합 성능을 평가하기 위하여 본 논문은 투영 오차(Reprojection errors)의 평균을 평가지표로 이용하였다. 정합 과정에서 추출된 N개의 대응점에 대하여 n-번째 Thermal 영상에서의 점을 x_t,n으로, RGB 영상에서의 대응점을 x_g,n으로 표기하면, 평균 투영 오차 e_aυg는 식(8)과 같이 정의된다.

여기서 H ^ x g , n 은 RGB 영상 공간의 점 x_g.n이 추정된 호모그래피 행렬 H ^를 통해 Thermal 영상 공간에 투영되었을 때의 점 벡터를 나타낸다. 따라서 두 점 벡터의 노름(Vector norm)은 Thermal 영상 공간 내에서 두 점 간의 거리 즉, 투영 오차로 표현될 수 있다.

카메라 정합을 위해 수집된 영상은 총 32세트이며, 수집된 영상들로부터 추출된 대응점들의 평균 투영 오차는 Table 1과 같다. 여기서 평균 투영 오차는 0.752 [pixel]의 수치로 산출되었는데, 이는 RGB 영상과 Thermal 영상을 1픽셀 미만의 정확도로 정합시킬 수 있음을 의미한다.

Fig. 7은 두 영상의 정합 결과에 대한 예시를 보여주고 있다. 여기서 Fig. 7의 재구성된 영상 공간은 Fig. 6(b)의 RGB 영상 공간과는 시야 차이가 있는데, 추정된 호모그래피 행렬을 통해 Fig. 6(c)의 Thermal 영상 공간과 동일한 공간에서 정합되었음을 확인할 수 있다.

4.2.2 증기 배관 누설 감지 성능 평가

증기 누설 감지를 위해서는 먼저 열-지도의 학습이 필요하다. 콜드 상태에서 웜 상태까지 증기 배관의 시·공간적 온도분포를 학습시키기 위해, 본 연구팀은 Fig. 5(a)의 실험 환경에서 보일러 기동 시부터 정상상태가 되기까지 약 1시간 동안의 샘플 영상을 획득하였다. Fig. 8(a)는 시간에 따라 수집된 Thermal 영상의 변화 양상을 나타내고 있다. 여기서 파란색은 상대적으로 낮은 온도영역을, 붉은색은 높은 온도영역을 나타낸다. 초기 증기 배관은 주변 온도와 유사한 상태에서 출발하여 점차로 온도가 상승하고 있음을 확인할 수 있다. 특히 보온재로 감싸있지 않은 밸브 상부(영상 중앙 위치)와 노출된 플랜지 부위(영상 좌측 위치)에서 고온의 상태가 감지되고 있음을 확인할 수 있다. 이렇게 수집된 샘플 영상에 대해 Max-of-Min 기반의 학습 과정을 거친 열-지도는 Fig. 8(b)와 같다. 학습된 열지도의 3차원 버전은 Fig. 8(c)과 같으며, 최대 온도가 약 54도 근방까지 도달하고 있음을 확인할 수 있다.

배관 누설 감지 실험을 수행하기 위해 정상상태의 증기 배관 장치의 드레인 밸브[Fig. 5(b) 참조]의 개도를 조절하여 증기 누설 상황을 모사하였다. 이때 밸브는 완전히 잠긴 상태에서 출발하여 시간에 따라 점차로 개도율을 높이면서 누설 감지 및 시각화 정도에 대한 정성적 평가 실험을 수행하였다. Fig. 9는 이 과정에서 제안된 시스템을 통한 누설 감지 결과를 나타낸다. 초기 상태에서는 감시 영역에 대한 Gray 영상만이 출력된 상태인데, 이는 누설이 감지되지 않은 정상적인 상태를 나타낸다. 밸브를 조금 열어 약간의 증기 누설을 발생시킨 경우, 밸브 아래쪽(영상 중앙부) 및 드레인밸브 부근(영상 우측부)에서 누설이 감지되고 있음을 온도-색 상정보를 통해 확인할 수 있다. 또한 밸브의 개도율을 높여 증기 누설을 증가시킬수록, Gray 영상 내의 색상영역이 점차로 넓게 확장되며 이상 고온 영역 내의 온도 또한 색상으로 명확하게 구분되고 있음을 알 수 있다.

이와 같은 실험을 통해, RGB-Thermal 영상 정합, 열-지도 학습, 열-지도 기반의 이상 고온 감지 및 시각화로 구성된 제안된 방법은 감시 영역에 있는 증기 배관에 대해 효과적이고 직관적인 누설 감지가 가능함을 확인하였다.

5. 결 론

본 논문은 RGB 카메라와 Thermal 카메라를 복합적으로 이용한 증기 배관 누설 감지 시스템을 다루었다. 우선 선박 기관실 환경에서의 효용성 관점에서 소형 독립형 하드웨어 시스템의 구성 방법을 제안하였다. 다음으로 카메라 보정, 영상 정합, 열-지도 학습, 추론 및 시각화 모듈의 기능적으로 분리된 전체 소프트웨어의 구성 방법을 제안하였다. 보다 구체적으로, RGB 영상과 Thermal 영상의 보정/정합을 위해 특수 제작된 체스 보드 패턴이 소개되었고, 호모그래피를 이용한 영상 정합 방법이 기술되었다. 본 논문은 또한 증기 배관의 정상상태 정보를 공간적으로 표현하기 위해 열-지도를 정의하였고, Max-of-Min 기반의 이중 샘플링 전략을 통한 열-지도의 학습 방법을 제안하였다. 증기 배관의 누설 감지를 목적으로 열-지도 기반의 이상 고온 감지 및 시각화 기법 또한 제안되었다. 제안된 방법은 실제 선박의 증기 배관 시스템을 모사한 실험 장치를 이용하여 평가되었으며, 실험 결과 다음의 결론을 도출하였다. 첫째, 제안된 열-지도 및 학습 방법으로 배관 주위의 공간적 정상 온도분포 패턴을 학습할 수 있었다. 둘째, 학습된 열-지도와 제안된 추론 방법으로 배관 주위의 이상 고온을 감지할 수 있었고, 시각화 알고리즘을 통해 감지된 이상 고온 영역을 보다 직관적으로 모니터링할 수 있었다.

본 논문에서 제안된 방법은 안전을 고려하여 랩스케일의 실험 장치를 통해 평가되었으나, 실제 선박 환경에서의 평가 또한 요구된다. 이에 다양한 안전장치를 고려한 실증 실험은 추후 과제로 남긴다.