Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1229-3431(Print)
ISSN : 2287-3341(Online)
Journal of the Korean Society of Marine Environment and Safety Vol.29 No.7 pp.887-892
DOI : https://doi.org/10.7837/kosomes.2023.29.7.887

Design and Implementation of Bigdata Platform for Vessel Traffic Service

Hye-Jin Kim*, Jaeyong Oh**
*Principal Researcher, Korea Research Institute of Ships and Ocean Engineering, Daejeon, Korea
**Principal Researcher, Korea Research Institute of Ships and Ocean Engineering, Daejeon, Korea

* First Author : hjk@kriso.re.kr, 042-866-3649


Corresponding Author : ojyong@kriso.re.kr, 042-866-3648
November 21, 2023 December 7, 2023 December 29, 2023

Abstract


Vessel traffic service(VTS) centers are equipped with RADAR, AIS(Automatic Identification System), weather sensors, and VHF(Very High Frequency). VTS operators use this equipment to observe the movement of ships operating in the VTS area and provide information. The VTS data generated by these various devices is highly valuable for analyzing maritime traffic situation. However, owing to a lack of compatibility between system manufacturers or policy issues, they are often not systematically managed. Therefore, we developed the VTS Bigdata Platform that could efficiently collect, store, and manage control data collected by the VTS, and this paper describes its design and implementation. A microservice architecture was applied to secure operational stability that was one of the important issues in the development of the platform. In addition, the performance of the platform could be improved by dualizing the storage for real-time navigation information. The implemented system was tested using real maritime data to check its performance, identify additional improvements, and consider its feasibility in a real VTS environment.



해상교통 관제 빅데이터 체계의 설계 및 구현

김혜진*, 오재용**
*한국해양과학기술원 부설 선박해양플랜트연구소 책임연구원
**한국해양과학기술원 부설 선박해양플랜트연구소 책임연구원

초록


해상교통관제센터에는 RADAR, AIS(Automatic Identification System), 기상센서, VHF(Very High Frequency) 등이 설치되어 운영되고 있으며, 해상교통관제사는 이를 활용하여 관제구역을 통항하는 선박의 동정을 관찰하고 정보를 제공하는 관제 업무를 수행한다. 이들 장 비에서 생성되는 각종 관제 데이터는 해상교통 상황을 분석하기 위한 자료로 그 활용 가치가 매우 높지만, 시스템 제조사간 호환성 부족 또는 정책상의 문제로 인해 체계적으로 관리되지 않고 있는 실정이다. 이에 본 연구에서는 해상교통관제센터에서 수집되는 관제 데이터 를 효율적으로 수집, 저장, 관리할 수 있는 관제 빅데이터 체계를 개발하였다. 개발된 관제 빅데이터 체계는 체계 개발의 중요한 이슈 중 하나였던 운영 안정성을 확보하기 위해 마이크로서비스 아키텍처를 적용하였으며, 효율적인 실시간 운항 정보의 탐색을 위해 저장소를 이원화하여 체계 성능을 향상시킬 수 있었다. 구현된 체계는 실해역 데이터를 적용한 시범 운영을 통해 성능을 확인하고 추가적인 개선 사항을 파악하였으며, 실제 관제 환경에서의 활용 가능성을 검토하였다.



    1. 서 론

    해양경찰청은 주요 무역항에 해상교통관제센터(VTS 센터) 를 설치, 운영함으로써 선박 교통안전과 효율성을 확보하고, 해양환경을 보호하기 위해 노력하고 있다. 또한, 해상교통 관제사는 AIS(Automatic Identification System), 레이더(RADAR), 기상 센서 등의 첨단 장비를 이용하여 관제구역을 통항하는 선박의 동정을 관찰하고, 이들의 관계가 어떻게 변화할 것 인지를 예측하여 필요한 정보를 제공하는 관제 업무를 수행 하고 있다(Korea Coast Guard, 2023). 한편, 해상교통관제에 활 용되는 데이터는 해상교통 상황을 가장 잘 표현할 수 있는 기록이기 때문에 그 활용 가치가 매우 높다고 할 수 있다. 실제로 해양사고가 발생한 경우, 사고 상황을 재현하기 위 해 VTS 로그 기록을 이용하기도 한다(Jung and Jeong, 2016). 그러나 현재 전국에 설치된 VTS 시스템은 제조사 별로 서로 연동 및 호환되지 않으며, 각각 다른 포맷으로 데이터를 저 장하고 있어서 다양하게 활용되지 못하고 있는 실정이다 (Hwang et al., 2016). 또한, VTS 로그 데이터의 의무 저장 기 간을 60일로 규정하고 있어서(Korea Coast Guard, 2019), 해당 기간이 지난 데이터들은 삭제되거나 체계적으로 관리하지 않기도 한다. 최근에는 빅데이터와 관련한 기술이 발전함에 따라 데이터의 중요성이 증대되고 있으며, VTS 분야에서도 장기간의 관제 데이터 분석이 필요하게 되어 데이터 확보에 대한 인식이 바뀌어 가고 있는 상황이다(Kim and Kang, 2014;Yoo and Kim, 2022). 한편, 해양경찰청은 2026년까지 해양정 보융합 플랫폼(MDA)의 구축을 계획하고 있으며, 드론, 위성 등의 첨단 장비를 추가 도입하고, 관제구역을 확대하는 등 의 내용을 포함하고 있다(Korea Coast Guard, 2023). 이에 따 라, 관제 데이터의 종류가 다양해지고, 용량 또한 급증할 것 으로 예상되며, 이를 효율적으로 관리할 수 있는 체계의 개 발이 필요하게 되었다.

    이에 본 연구에서는 관제 데이터를 효율적으로 수집, 관 리하고, 활용할 수 있는 관제 빅데이터 체계를 개발하였으 며, 본 논문을 통해 체계의 설계와 구현을 위한 이슈들을 고 찰하고 체계의 활용 가능성을 검토하고자 한다.

    2. 요구사항 식별

    관제 빅데이터 체계 개발에 앞서, 대산항 해상교통관제센 터를 시범 운영 센터로 지정하고 센터에서 운용되는 관제 데이터의 현황을 파악하였으며, 체계 운영에 필요한 요구사 항들을 현장 인터뷰를 통해 식별하였다.

    2.1 관제 데이터 특성 분석

    일반적으로 VTS 시스템은 Fig. 1과 같이 다양한 출처로부 터 입력된 관제 데이터를 관제 콘솔(VOC)에 통합 표시하여 관제사가 관제구역의 교통 상황을 실시간으로 파악할 수 있 도록 구성되어 있다. 본 연구에서는 관제 업무에 필요한 모 든 데이터를 관제 데이터로 정의하였으며, 시범 운영 센터 의 관제 데이터를 기준으로 각 데이터의 수신 주기, 형식, 용량 등을 조사하고 특성을 분석하였다.

    주요 관제 데이터의 특성은 Table 1과 같으며, 데이터별 수신 주기, 형식, 용량 등이 매우 다양함을 확인할 수 있다. 텍스트 데이터의 경우는 CSV(Comma-Separated Values) 형태 로 구분되어 있으며, RADAR 영상과 VHF 교신 음성 파일 같 은 비정형 데이터가 수집되기도 하였다. 또한, 각 데이터는 독립적으로 수신되며, 수신 주기가 불규칙적인 데이터도 일 부 포함되어 있었다. 한편, 관제 센터에서 수집되는 데이터 의 용량은 관제구역의 교통량에 따라 결정되며, 시범 운영 센터의 경우 하루 평균 약 20GB 용량의 데이터가 수집된다.

    2.2 주요 요구사항

    체계 개발에 앞서, 총 5차에 걸친 인터뷰를 통해 현직 관 제사 20명으로 구성된 전문가 그룹의 의견을 수렴하였다. 이 를 통해 체계 운영과 관련한 시스템 요구 사항들을 식별하 였으며, 주요 요구사항은 다음과 같다.

    수집 체계는 수집되는 데이터의 용량이 증가하더라도 수 집 프로세스의 성능이 저하되지 않아야 하며, 데이터의 누 락이 발생하지 않아야 한다. 저장 체계는 탐색 요청이 빈번 한 실시간 선박 데이터를 효율적으로 관리할 수 있어야 하 며, 데이터 저장에 영향을 주지 않아야 하고, 음성 및 영상 데이터는 직접적인 파일 접근이 가능해야 한다. 저장 공간 은 3년 이상의 이중화 된 관제 데이터를 저장할 수 있어야 하며, 기존의 데이터를 유지하면서 저장 공간을 확장할 수 있어야 한다. 한편, 저장된 데이터를 탐색할 수 있도록 API 형태의 인터페이스를 제공해야 하며, 체계 관리자는 각 서 버의 하드웨어 및 소프트웨어의 운영 상태, 데이터 수집/저 장 상태 등을 실시간으로 모니터링 할 수 있어야 한다. 서버 시스템은 24시간 무정지로 운영되어야 하며, 이를 위해 여러 대의 서버를 연결한 클러스터링 방식을 사용하여 서버의 부 하 분산이 가능해야 한다. 이와 같은 요구 사항 중, 수집 데 이터의 누락 방지, 시스템 이중화 등은 운영 안정성과 관련 한 항목이며, 체계 설계 시 우선적으로 반영되어야 할 필수 항목으로 식별되었다.

    3. 관제 빅데이터 체계 설계 및 구현

    Fig. 2에는 관제 빅데이터 체계의 구성을 도식화하였다. 체계는 크게 수집, 저장, 탐색, 응용 단계로 구분된다. 여러 센서로부터 수신된 관제 데이터는 분류 및 전처리 과정을 거친 후, 이원화 된 저장소에 저장되고, 응용 단계에서 REST API를 통해 저장된 데이터를 탐색할 수 있도록 하였다. 또 한, 시스템의 운영 안정성 확보를 위해 각 서비스는 HA(high availability) 개념이 적용되어 있어, 하드웨어 혹은 소프트웨 어의 오류로 인해 시스템이 정지되는 경우라도 부하를 분산 시켜 서비스를 지속적으로 유지할 수 있게 된다.

    한편, 본 연구에서는 관제 빅데이터 체계를 구현하기 위 한 프레임워크로 도커 기반의 마이크로서비스 아키텍처 (micro- service architecture)를 적용하였다. 마이크로서비스 아 키텍처는 체계를 기능별로 분리하여 독립적인 개발과 테스 트가 가능하며, 서버의 운영 환경에 따라 시스템을 적응적 으로 확장하거나 축소할 수 있어서 리소스의 활용을 극대화 할 수 있는 장점이 있다(Kim et al., 2019).

    3.1 수집 체계

    수집 체계는 실시간으로 수신되는 관제 데이터를 분류하 고 가공하여 저장 체계로 전달하는 기능을 수행한다. 수신 된 관제 데이터에 데이터 타입, 수신 시각, 출처 등의 태그 정보를 추가한 후, 저장 체계로 송신되는데, 이때 메모리 큐 (queue) 개념을 적용하여 데이터 수신 순서에 따라 순차적 으로 처리하도록 하였다. 관제 데이터는 그 특성상 교통량 에 따라 수집되는 데이터의 용량이 유동적이며, 데이터가 급증하는 경우 데이터가 누락될 수도 있다. 이에 메모리 큐를 통해 데이터의 누락을 방지하고, 버퍼 기능을 이용하 여 데이터의 흐름을 제어할 수 있도록 하였으며, 인-메모리 (in-memory) 방식의 NoSQL 데이터베이스인 Redis를 사용하여 구현하였다.

    한편, 메시지 큐에 입력된 관제 데이터는 순차적으로 추 출되어 가공 작업을 거친 후, 저장 체계로 전송되는데, 본 연구에서는 Elastic NV사의 Logstash를 사용하였다. Logstash는 실시간 데이터의 수집, 처리, 전송이 가능한 소프트웨어 파 이프라인 모듈이며, 본 연구에서는 시스템의 고가용성 확보 를 위해 3개의 노드로 분산하여 데이터를 병렬 처리하도록 구현하였다. Fig. 3은 관제 데이터의 처리 절차이다.

    3.2 저장 체계

    관제 빅데이터 체계의 저장소는 단기 저장소, 장기 저장 소, 파일 저장소로 구성되며, 수집 체계의 Logstash로부터 수 신된 관제 데이터를 종류에 따라 저장소에 저장하는 기능을 수행한다. 기본적으로 모든 관제 데이터는 장기 저장소에 저장되며, 선박의 실시간 위치 정보와 같이 탐색 빈도가 높 은 데이터를 단기 저장소에 이원화하여 저장함으로써 잦은 탐색에 따른 서버의 부하를 줄이도록 하였다.

    단기 저장소는 Redis, 장기 저장소는 Elasticsearch를 적용하 여 구현하였으며, Fig. 3과 같이 두 저장소 모두 3개의 노드 가 하나의 시스템처럼 동작하는 클러스터링 방식으로 구현 하여 예기치 않은 시스템 장애에 대응할 수 있도록 하였다.

    한편, 저장 체계에는 파일 형태의 관제 데이터를 저장하 기 위한 파일 저장소가 포함되어 있다. 파일 저장소는 네트 워크를 통해 동시 접근이 가능한 NAS(Network Attached Storage)를 사용하였으며, 수집 체계에서 직접 접근하여 파일 형태의 데이터를 저장하도록 구현하였다.

    3.3 인터페이스 체계

    인터페이스 체계는 저장소에 저장된 관제 데이터를 탐색 하고 추출할 수 있는 API 기능을 포함하고 있으며, 실시간 선박 데이터 조회용과 장기 데이터 조회용으로 구분된다.

    실시간 선박 데이터 조회용 API는 현재 시간을 기준으로 대상 해역에서 운항 중인 선박의 정보를 요청하는 API이다. 이는 응용 프로그램에서 주로 활용되는 기능으로 선박의 위 치, 속도, 침로 등의 정보를 주기적으로 수신하며, 선박의 세 부 정보를 요청하는 기능도 포함하고 있다. 선박의 실시간 운항 데이터는 웹소켓(websocket)을 통해 매 초 주기로 수신 되며, 선박의 세부 정보는 사용자 요청에 따라 REST API를 통해 조회할 수 있도록 구현하였다.

    또한, 장기 데이터의 조회 기능은 특정 기간 동안의 관제 데이터를 추출하기 위한 기능이다. 이는 장기 저장소인 Elasticsearch에 저장된 데이터를 검색하고 그 결과를 송신하 며, REST API를 통해 호출될 수 있다.

    한편, 관제 교신 음성을 재생하는 API를 제공하며, 교신시 작 시각, VHF 채널 번호 등의 입력 조건에 맞는 교신 음성 파일을 웹 환경에서 스트리밍 할 수 있도록 구현하였다.

    3.4 모니터링 체계

    관제 빅데이터 체계를 구성하는 모든 서버 시스템은 상태 모니터링을 위한 백-그라운드 프로세스를 포함하고 있으며, 이를 통해 관리자는 체계의 상태 정보를 실시간으로 확인할 수 있다. 주요 모니터링 항목은 각 서버의 하드웨어 리소스 (CPU 사용량, 메모리 사용량, 여유 저장 공간) 정보와 도커 프로세스 상태 정보이며, 수집되는 관제 데이터의 누적 현 황도 함께 파악할 수 있도록 하였다. 수집된 모니터링 데이 터는 웹 환경에서 대시보드 형태로 관리자에게 제공되며, 사용자 화면은 Fig. 4와 같다.

    4. 관제 빅데이터 체계 시범 운영

    본 연구를 통해 개발된 관제 빅데이터 체계는 현재 시범 운영 센터(대산항 VTS)에 구축되어 운영 중이며, 사용된 시 스템의 하드웨어 및 소프트웨어 사양은 Table 2와 같다.

    대산항은 국내 주요 무역항 중 한 곳으로 근처 해역에는 인천항, 평택항, 대산항을 이용하는 선박들이 입항 대기 장 소로 이용하는 ‘장안서 대기 정박지’가 운영되고 있어서 복 잡한 선박 교통 특성을 가지고 있다. 본 연구의 시범운영 대 상해역은 대산항 관제 구역과 장안서 관제 구역을 포함하는 해역이며, 하루 평균 200척의 선박이 운항하는 특징을 가지 고 있다

    시범 운영에서는 실해역 데이터를 적용한 체계 성능 시험 을 시행하였다. 시험 항목은 관제 데이터 수집 및 저장 성능 과 대용량 데이터 추출 성능으로 구성하였다. Fig. 5(a)(b)는 각각 Logstash의 데이터 수신율과 지연시간을 나타낸 다. 그래프에 따르면, 초당 약 200건의 데이터가 수신되며, 이를 처리하기 위한 평균 지연시간은 약 10ms이다. 또한, Fig. 5(c)와 같이, Elasticsearch에 저장하기 위한 지연시간은 평균 0.14ms로 측정되었으며, 이를 통해 구현된 빅데이터 체 계가 실제 관제 현장에 적용될 수 있음을 확인하였다.

    또한, 실시간 선박 운항 데이터 수신 지연 시간과 관제 데 이터 저장 용량을 확인하였다. 선박 운항 데이터의 전송 지 연 시험은 물표 데이터의 수신 시간과 사용자 화면의 물표 표시 시간 간의 차이를 24시간 동안 측정하였으며, 실험 결 과, 선박 운항 데이터의 전송 지연 시간은 평균 300ms이하로 물표 정보의 갱신 시간이 1초 이상임을 고려할 때 응용 프 로그램에서 활용이 가능한 수준으로 판단된다.

    한편, 관제 데이터를 저장하기 위해 하루 평균 20GB의 저 장 공간이 소요되었으며, 현재 교통량 수준으로 3년 이상의 관제 데이터를 추가 저장할 수 있을 것으로 예상된다.

    관제 데이터 추출 시험에서는 API를 통해 1일간 누적된 항적 데이터(약 1백만 건)를 추출하는데 평균 1분 30초가 소 요되었다. 장기간의 데이터 추출 작업을 위해서는 조회 기 간을 분할하여 처리하고, 그 결과를 통합하는 방식으로 추 출 소요 시간을 줄일 수 있었다.

    한편, 약 1 년 동안의 시범 운영을 통해 대용량의 관제 데 이터가 누적되었으며, 이를 활용하는 예시로 Fig. 6과 같이 관제 업무를 지원할 수 있는 응용 서비스들을 개발하였다.

    응용 서비스는 관제사의 의사 결정을 돕기 위한 기능으로 주의 선박 자동 식별 서비스(Oh and Kim, 2023a), 혼잡 시간대 예측 서비스(Oh and Kim, 2023b), 정박 대기시간 예측 서비스 로 구성된다. 각 서비스는 관제 빅데이터 체계가 제공하는 API를 통해 누적된 관제 데이터를 추출하여 모델을 학습하 고, 서비스 내용을 실시간 선박 정보와 함께 표시하여 사용 자에게 제공할 수 있다. 구현된 관제지원 응용 서비스는 현 재 시범운영 센터에 설치되어 운영 중이며, 실제 관제 현장 에 적용하기 위한 테스트 및 의견 수렴을 진행하고 있다.

    또한, 추가적인 응용 서비스로 누적된 관제 데이터에 대 한 통계 분석 서비스를 개발하였다. API를 통해 추출된 관제 데이터를 바탕으로 데이터마트를 구성하여 선박의 운항 정 보, 관제 교신 등에 대한 통계 분석 기능을 구현하였다. 실 시간 데이터가 수집되는 동시에 데이터마트 구성을 위한 대 용량 데이터 추출 API가 주기적으로 호출되어도 체계 성능 저하가 발생하지 않음을 확인할 수 있었다.

    5. 결 론

    본 논문에서는 해상교통관제센터에서 수집되는 관제 데 이터를 효율적으로 저장하고 관리할 수 있는 관제 빅데이터 체계의 개발에 대해 기술하였다. 체계 개발의 중요한 이슈 인 체계의 운영 안정성을 확보하기 위해 마이크로서비스 아 키텍처를 적용하였으며, 이를 통해 예상치 못한 상황에서도 서비스를 확장하거나 축소하여 유연한 서버 운용이 가능하 도록 하였다. 특히, 조회 빈도가 높은 선박의 실시간 운항 정보의 탐색을 위해 저장소를 이원화하여 데이터의 수집 및 저장 성능에 미치는 영향을 최소화할 수 있었다. 또한, 구현 된 체계는 실해역 데이터를 적용한 시범 운영을 통해 성능 을 확인하였으며, 대용량 관제 데이터 추출 기능의 성능 개 선이 필요한 것으로 파악되었다.

    해상교통관제 빅데이터 구축을 위해서는 향후 개발되는 VTS 통합 플랫폼과 연계하여 전국 단위의 관제 데이터를 통 합 운영해야 하며, 이를 통해 관제 분야에 빅데이터 및 인공 지능 기술을 적용하기 위한 연구가 지속적으로 수행될 수 있기를 기대한다.

    후 기

    본 논문은 해양경찰청의 “해상교통정보 빅데이터 구축 및 안전예보 시스템 기술 개발” 과제에 의해 수행되었습니다. (해양경찰청 20190496 (IRIS RS-2019-KS191295))

    Figure

    KOSOMES-29-7-887_F1.gif

    Operating concept of VTS system.

    KOSOMES-29-7-887_F2.gif

    Architecture of VTS bigdata platform.

    KOSOMES-29-7-887_F3.gif

    Procedure for collecting and storing of VTS data.

    KOSOMES-29-7-887_F4.gif

    Dashboard for VTS bigdata platform.

    KOSOMES-29-7-887_F5.gif

    Performance graphs of collecting and storage.

    KOSOMES-29-7-887_F6.gif

    Examples of VTSO support tools using VTS bigdata.

    Table

    Specification of VTS data (DAESAN VTS)

    Specification of VTS bigdata system

    Reference

    1. Hwang, H. G. , B. S. Kim, I. S. Shin, S. K. Song, and G. T. Nam (2016), A Development of Analysis System for Vessel Traffic Display and Statistics based on Maritime-BigData, Journal of the Korean Institute of Information Scientists and Engineers, Vol. 20, No. 6. pp. 1195-1202.
    2. Jung, C. Y. and J. Y. Jeong (2016), Empirical Study on the Performance Analysis and Function of Jindo Coastal Vessel Traffic Service, Journal of the Korean Society of Marine Environment and Safety, Vol. 18, No. 4, pp. 308-315.
    3. Kim, D. H. , D. K. Yun, J. S. Park, and K. H. Yeom (2019), A Script Generation Method for Microservice Deployment in a Container Orchestration Environment, Journal of the Korean Institute of Information Scientists and Engineers, Vol. 46, No. 7, pp. 682-689.
    4. Kim, S. R. and M. M. Kang (2014), The Trends and Prospects In Cloud-based Bigdata Technology, Journal of the Korean Institute of Information Scientists and Engineers, Vol. 32, No. 2, pp. 22-31.
    5. Korea Coast Guard (2023), http://www.kcg.go.kr/kgc/vts.
    6. Korea Coast Guard (2019), Vessel Traffic Services Act.
    7. Oh, J. Y. and H. J. Kim (2023a), Research on Navigational Anomaly Detection using Traffic Network Model, Journal of the Korean Society of Marine Environment and Safety, Vol. 29, No. 7.
    8. Oh, J. Y. and H. J. Kim (2023b), Research on Prediction of Maritime Traffic Congestion to Support VTSO, Journal of the Korea Navigation and Port Research, Vol. 47, No. 4, pp. 212-219.
    9. Yoo, S. L. and K. I. Kim (2022), Setting Up of VTS Areas Around Jeju Using AIS Data, Journal of the Korea Navigation and Port Research, Vol. 46, No. 3, pp. 209-215.