search
Contact Us
HOME

  • Crossref logo
Journal Search Engine

to

Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1229-3431(Print)
ISSN : 2287-3341(Online)
Journal of the Korean Society of Marine Environment and Safety Vol.27 No.5 pp.574-583
DOI : https://doi.org/10.7837/kosomes.2021.27.5.574

Estimation Model for Freight of Container Ships using Deep Learning Method

Donggyun Kim*, Jung-Suk Choi**†
*Professor, Division of Navigation Science, Mokpo National Maritime University, Mokpo 58628, Korea
**Professor, Division of Maritime Transportation, Mokpo National Maritime University, Mokpo 58628, Korea

* First Author : dgkim@mmu.ac.kr, 061-240-7160


† Corresponding Author : jschoi@mmu.ac.kr, 061-240-7163
July 19, 2021 August 13, 2021 August 27, 2021

Abstract


Predicting shipping markets is an important issue. Such predictions form the basis for decisions on investment methods, fleet formation methods, freight rates, etc., which greatly affect the profits and survival of a company. To this end, in this study, we propose a shipping freight rate prediction model for container ships using gated recurrent units (GRUs) and long short-term memory structure. The target of our freight rate prediction is the China Container Freight Index (CCFI), and CCFI data from March 2003 to May 2020 were used for training. The CCFI after June 2020 was first predicted according to each model and then compared and analyzed with the actual CCFI. For the experimental model, a total of six models were designed according to the hyperparameter settings. Additionally, the ARIMA model was included in the experiment for performance comparison with the traditional analysis method. The optimal model was selected based on two evaluation methods. The first evaluation method selects the model with the smallest average value of the root mean square error (RMSE) obtained by repeating each model 10 times. The second method selects the model with the lowest RMSE in all experiments. The experimental results revealed not only the improved accuracy of the deep learning model compared to the traditional time series prediction model, ARIMA, but also the contribution in enhancing the risk management ability of freight fluctuations through deep learning models. On the contrary, in the event of sudden changes in freight owing to the effects of external factors such as the Covid-19 pandemic, the accuracy of the forecasting model reduced. The GRU1 model recorded the lowest RMSE (69.55, 49.35) in both evaluation methods, and it was selected as the optimal model.


Shipping market , Container Freight Index , Prediction model , Long Short-term Memory , Hyper-parameter

딥러닝 기법을 활용한 컨테이너선 운임 예측 모델

김 동균*, 최 정석**†
*목포해양대학교 항해학부 교수
**목포해양대학교 해상운송학부 교수

초록


해운 시황을 예측하는 것은 중요한 문제이다. 투자 방식의 결정, 선대 편성 방법, 운임 등을 결정하기 위한 판단 근거가 되며 이는 기업의 이익과 생존에 큰 영향을 미치기 때문이다. 이를 위해 본 연구에서는 기계학습 모델인 장단기 메모리 및 간소화된 장단기 메 모리 구조의 Gated Recurrent Units를 활용하여 컨테이너선의 해상운임 예측 모델을 제안한다. 운임 예측 대상은 중국 컨테이너 운임지수 (CCFI)이며, 2003년 3월부터 2020년 5월까지의 CCFI 데이터를 학습에 사용하였다. 각 모델에 따라 2020년 6월 이후의 CCFI를 예측한 후 실 제 CCFI와 비교, 분석하였다. 실험 모델은 하이퍼 파라메터의 설정에 따라 총 6개의 모델을 설계하였다. 또한 전통적인 분석 방법과의 성 능을 비교하기 위해 ARIMA 모델도 실험에 추가하였다. 최적 모델은 두 가지 방법에 따라 선정하였다. 첫 번째 방법으로 각 모델을 10회 반복 실험하여 얻은 RMSE의 평균값이 가장 작은 모델을 선정하는 것이다. 두 번째 방법으로는 모든 실험에서 가장 낮은 RMSE를 기록한 모델을 선정하는 것이다. 실험 결과 전통적 시계열 예측모델인 ARIMA 모델과 비교하여 딥러닝 모델의 정확도를 입증하였으며, 정확한 예측모델을 통해 운임 변동의 위험관리 능력을 제고시키는데 기여했다. 반면 코로나19와 같은 외부 효과에 따른 운임의 급격한 변화상황 이 발생한 경우, 예측모델의 정확도가 감소하는 한계점을 나타냈다. 제안된 모델 중 GRU1 모델이 두 가지 평가 방법 모두에서 가장 낮은 RMSE(69.55, 49.35)를 기록하며 최적 모델로 선정되었다.


해운시황 , 컨테이너 운임지수 , 예측 모델 , 장단기 메모리 , 하이퍼 파라메터

    1. 서 론

    컨테이너 해운시장은 컨테이너라는 규격화된 단일용기를 사용하여 일정한 주기의 운항 서비스를 바탕으로 화물을 선 적지에서 양하지로 운송하는 해운산업의 한 형태이다. 이때 수출지와 수입지 간의 고정된 서비스를 공급하고, 선박의 화물 선적 상태와 무관하게 미리 공표된 항해 일정에 따라 서비스를 제공하므로 정기선 서비스라는 개념으로 화물운 송이 이루어지고 있다(Fayle, 1933).

    이러한 정기선 서비스의 특수성으로 인해 컨테이너 운송 시장은 다른 벌크선과 같은 타 시장 대비 항만 터미널의 확 보 및 운영, 서비스 제공을 위한 노선 구축, 공동운항 및 서 비스 네트워크 구축 등 자본비용이 많이 소요되고, 서비스 경쟁이 치열하게 발생 중이다. 높은 자본비용을 감당하고 정기선 서비스를 제공하기 위해 컨테이너 운송시장은 진입 장벽이 높고 다른 시장 대비 규모의 경제가 요구된다. 또한 얼라이언스라는 형태의 기업 연합체가 형성되어 있으며, 이들 간의 서비스 및 운임 경쟁이 치열하게 발생중이다. 이 로 인해 2008년 글로벌 경제위기 이후 컨테이너 운송시장은 과잉공급과 장기 저운임 시장으로 인해 다수의 해운기업이 구조조정 되었으며, 2021년 현재는 2M, Ocean Alliance, THE Alliance 중심으로 원양항로가 재편되었다. 대한민국 역시 2017년 세계 7위 정기선사 한진해운이 파산하여, 2021년 현 재는 HMM과 SM상선만이 원양항로에 투입되어 운영되고 있다. 이러한 기업의 생존과 직결되는 요소가 바로 해상운 임이다. 해운기업의 수입 발생 원천은 운임 수입이며, 운임 의 변화를 관리하고 선제적으로 대응하는 것이 해운기업의 리스크관리 전략의 최대 관건이다(Duru and Yoshida, 2011). 따라서 급변하는 운임의 변화를 선제적으로 예측하고 대비 한다면 기업의 선대 운영 및 경영전략 수립에 도움이 될 것 이다. 해상운임은 운송거래의 기준이 되는 가격으로 해운기 업의 미래수익과 직결되며, 운임 변화에 따라 물류비용 변 화 등 수출입 산업의 원가구조에 영향을 미쳐 국가 경제 전 체에 중요한 역할을 하고 있다(Choi and Hwang, 2017).

    이러한 컨테이너 해운시장의 운임이 결정되기 위해서는 선사 간의 경쟁 강도와 수급 여건의 관계가 중요하며, 타 선 종에 비해 상대적으로 높은 자본비용의 투입과 정기적인 운 항 서비스 제공의 특수성으로 인해 운임 결정 과정이 보다 복잡하게 형성되어 있다(Stopford, 2009).

    본 연구에서는 딥러닝 기법을 활용하여 운임 예측 모델을 개발하고자 한다. 이를 위해 먼저 기존 운임 예측 등의 연구 에 사용되었던 분석기법 등에 대해 살펴보고 이들 연구 방 법의 한계점을 통해 본 연구에서 활용되는 딥러닝 기법의 시사점을 도출하고자 한다.

    이후 컨테이너 해상운임에 영향을 미치는 주요 요인들을 선정하여 중국 상해항운교역소에서 발표중인중국컨테이너 운임지수(China Containerized Freight Index, 이하 CCFI)를 대상 으로 운임 예측 실증 분석을 수행한다.

    연구의 구성은 선행연구를 통해 딥러닝 기법을 사용하게 된 배경과 운임에 영향을 미치는 요인들을 도출하고 이를 바탕으로 실증분석을 위한 데이터를 수집하여 전통적인 시 계열 예측 모델인 ARIMA 모델(Cochrane, 1997)과 딥러닝 모 델을 설계한다. 이후 각 모델의 시뮬레이션을 통한 운임 예 측값을 산출하여 예측 결과의 정확도를 비교 검증하여 본 연구의 결론과 시사점을 도출한다.

    2. 선행연구

    2.1 운임 예측관련 논문

    해운 시황을 예측하는 것은 매우 중요한 문제이다. 시장 위 험 관리, 선대 투자, 운임의 결정, 연료 수급 문제 등 다양한 분야에 많은 영향을 미치기 때문이다. 최근에는 코로나로 인 해 해운 운임 시장에 큰 변화가 일어나고 있다. 전례없이 큰 폭의 해운 지수가 기록 되었다. 따라서 해운업계에서는 해운 운임의 변동을 예측하기 위해 다양한 방법을 활용하여 해운 시황의 예측을 높이고자 노력하고 있다. 해상 운임은 해운 선 사뿐만 아니라 국가 경제적 측면에서도 중요성을 가지고 있으 며 국가적 차원에서 해운 물류 인프라에 대한 투자 및 정책을 결정하기 위해 물동량, 운임, 선복량 등과 같이 컨테이너 운임 에 미치는 영향을 요인을 분석하였다(Ahn and Ko, 2018). 물동 량 1 % 증가 시 운임 0.07 % 증가하는 등 각 요인 간 상관 관 계를 분석하였다. 선박 투자를 위한 운임 예측을 위해 운송량 이 운임에 미치는 영향, 즉 운임의 예측 오차 중 운송량 충격 이 절반 이상의 영향을 차지한다고 분석하였다(Ko and Kim, 2019). 정성적인 기법으로 델파이(delphi)기법(Choe and Kim, 2016), 시나리오 분석 등이 있으며 정량적인 방법으로는 수급 모델(supply-demand model)(Hayashi, 2020), 시계열 분석 기법인 지수 평활법(exponential smoothing)(George, 2021), 회귀 분석, 자귀 회귀분석(Autoregressive model), 이분산모델(autoregressive conditional heteroskedastic model)(Li et al., 2018)이 있다.

    해상운임을 예측하는 연구에는 크게 3가지 방법이 사용되 고 있다.

    첫째, 운임에 영향을 미치는 독립변수들을 바탕으로 통계 함수를 구성한다. 통계함수 기반의 연구로는 유조선 운임에 영향을 미치는 유가, 중고선가 등을 독립변수로 설정하여 다 중회귀분석을 통한 운임 예측모델 개발 연구(Beenstock and Vergottis, 1989)가 있다. Kavussanos and Tsouknidis(2014)는 수 요와 공급 변수를 활용한 통계함수를 통해 운임선물 가격을 예측하였다.

    둘째, 자귀회귀변수를 바탕으로 ARIMA 모델과 같은 시계 열 분석기법을 활용한다. 시계열 분석기법을 활용한 연구로 는 ARIMA 모형을 통해 2013년 벌크운임지수(BDI)를 예측한 연구(Mo, 2013)와 Fuzzy Timeseries 모델을 이용하여 BDI를 예 측한 연구들이 진행되었다(Duru et al., 2010). 그러나 이러한 시계열 모델들은 예측의 대상 기간이 장기화 될 경우 예측 력의 정확도가 하락하는 경향을 보였으며 변동성에 기초한 시계열 예측 모델은 큰 성과를 보지 못했다. 이러한 한계점 을 극복하기 위해 최근에는 시계열 분석기법과 딥러닝 기법 의 정확도를 비교하는 연구가 보고되고 있다.

    셋째, 많은 데이터를 바탕으로 한 딥러닝 기반의 연구모 델을 사용하는 방법이 있다(Eslami et al., 2017). 탱커의 운임 지수 예측을 위해 시계열 모형인 ARIMA와 딥러닝 기법인 Wavelet Neural Network(WNN) 모델을 활용해 연구를 수행했 으며, 연구 결과 WNN의 예측 정확도가 ARIMA 모형 대비 우수한 것으로 나타났다(Fan et al., 2013). 이밖에도 LSTM 알 고리즘을 활용하여 BDI를 예측한 결과, 시계열 모형보다 운 임 예측 성능이 뛰어난 것이 또 다른 연구를 통해서도 확인 되었다(Kim et al., 2019). 또한 기계학습 모델(ANN과 SVM)과 시계열모델(ARIMA)를 결합한 하이브리드모델을 활용하여 탱커선 운임지수를 예측한 연구에서도 일반 시계열 모델 (ARIMA)보다 하이브리드 모델의 예측 정확도가 우수한 것 이 확인되었다(Lim and Yun, 2019).

    2.2 선행연구 시사점

    이와 같이 해운시장의 운임 예측과 관련된 연구는 지금까 지 통계함수를 이용한 선형모델과 시계열 모형, 그리고 신 경망 모델까지 다양한 연구모형을 통해 수행되고 있다. 그 러나 대부분의 예측 대상이 벌크선 또는 탱커선 등 부정기 선 시장에 편중되어있고, 정기선 시장에 속하는 컨테이너선 과 관련된 운임 예측과 관련되는 연구는 부족한 상황이다. 따라서 신경망 모형을 활용한 비선형적 장기 컨테이너선 운 임 예측을 통해 다른 모델과의 정확도를 비교하는 연구는 컨테이너 시장의 운임 변동 위험 관리를 위해 실무적으로 필요한 연구가 될 것이다.

    본 연구에서는 딥러닝에 기반한 해운 운임 지수를 예측하 고자 한다.

    3. 연구 자료 및 모델 설계

    3.1 연구 자료

    중국컨테이너운임지수(CCFI, China Containerized Freight Index)는 중국발 컨테이너운임지수로 1998년 4월 13일 처음 공시되었다. 세계 컨테이너 시황을 객관적으로 반영한 지수 이자 중국 해운 시황을 나타내는 주요 지수이다. 1998년 1월 1일을 1,000으로 산정하며 중국의 항구를 기준으로 11개의 주요 루트별 운임을 산정하여 매주 발표하고 있다.

    Fig. 1은 2003년 3월 14일부터 2021년 3월 14일까지의 총 921개의 주간 CCFI를 나타낸다. 2003년 3월 이후부터 1000을 기준으로 CCFI가 등락을 반복하는 것을 볼 수 있다.

    2016년 5월 최젓값을 기록한 후 1000 이하에서 등락을 반 복하는 모습을 보였다. 2020년 9월 25 CCFI는 1000을 넘기 시작하였다. 이후 급격히 상승하여 2021년 1월 CCFI는 처음 으로 2000을 돌파하였다.

    Fig. 2는 COVID-19가 컨테이너를 포함한 해상 운송시장 에 미치는 영향으로서 많은 국가 및 다양한 분야에서 동시 에 발생된 경제 위기와 함께 감염 공포 확산, 각 도시의 기 능 마비, 이로 인한 생산 활동 위축이 발생하였다. 또한 원 자재 및 에너지 수요가 감소하였으며 컨테이너선을 비롯한 해상 물동량의 감소로 이어졌다(Samjung KPMG Report, 2020).

    Table 1은 2003년 3월부터 2021년 3월까지의 주간 CCFI의 평균, 최솟값, 최댓값, 자료 수를 의미한다.

    3.2 모델 설계

    본 연구에서는 주간 CCFI 데이터의 예측 모델을 설계하 기 위해 딥러닝 알고리즘인 LSTM(Long Short-Term Memory) (Hochreiter and Schmidhuber, 1997), BiLSTM(Bidirectional Long Short-Term Memory), GRU(Gated Recurrent Units)(Chung et al., 2014) 을 활용하여 모델을 설계하였다. 설계된 모델들은 시 간의 변화에 따라 변화하는 데이터를 학습하여 그 결과를 예측한다.

    각각의 모델들은 하이퍼 파라메터의 설정에 따라 레이어 층이 추가되었으며 이에 따라 각각 2가지의 모델을 생성한다. 이 모델들은 모두 순환 신경망(RNN, Recurrent Neural Network) (Rumelhart et al., 1986)의 단점, 즉 장기 의존성(Long-Term Dependency) 문제를 해결하기 위해 제안되었다. RNN은 레이 어의 출력을 다시 입력으로 사용하는 순환 구조로 되어 있 으며 입력과 출력의 길이에 제한이 없다는 특징이 있다. 그 러나 학습이 진행될수록 입력 데이터와 출력 데이터 사이의 길이가 멀어질수록 연관 관계가 줄어들며 이에 따라 학습 능력이 저하된다.

    또한 전통적인 시계열 분석 기법인 ARIMA 모델과의 비 교를 통해 해운 운임에 적합한 모델을 비교, 선정한다.

    본 연구에는 총 7개의 모델이 CCFI를 학습 후 예측하도록 설계하였다. 각 모델이 예측한 값과 CCFI의 RMSE를 계산한 후 최적 모델을 선정하고자 한다. 먼저 딥러닝 기반의 제안 모델과 비교를 위해 시계열 예측에 가장 많이 활용되는 ARIMA 모델에 관해 설명한다.

    3.2.1 ARIMA 모델

    ARIMA(Auto-regressive Integrated Moving Average) 모형은 시 계열 데이터에 기반한 전통적인 분석 방법으로 자기 회귀와 이동평균을 고려한 모형이다. 비정성적인(non-stationary)인 시 계열 자료를 분석하기 위한 방법으로 시계열의 변동 형태를 파악하고 이를 통한 예측이 가능하다. 증권시장, 경제 분야 등에서 다양하게 사용되고 있다(Alsharif et al., 2019;David et al., 2016).

    ARIMA의 차수를 결정하기 위해 먼저 시계열이 정상성을 가지는지를 확인하였다. 정상성을 확보하는 방법에는 추세 제거, 차분 등의 방법이 있다. 시계열이 정상성을 가지는지를 확인하기 위해서는 시계열 그래프를 확인하여 추세선의 존 재 유무를 확인한다. 이후 자기상관함수(ACF, Autocorrelation Function)와 편자기상관함수(PACF, Partial Autocorrelation Function) 를 활용하여 단위근 여부를 판단한다.

    ARIMA (p,d,q) 모형은 식(1)과 같다. 원시계열 데이터 의 n차분에 대한 ARMA(p, q)모형을 적용한 것과 같다.

    Φ p ( B ) ( 1 − B ) d y t = δ + θ p ( B ) ε t
    (1)

    먼저 ARIMA의 원시계열 데이터가 정상성을 가지는지 확 인하였다. 정상성을 나타나지 않는 데이터의 경우, ACF가 느리게 감소한다. Fig. 3은 원시계열 데이터의 ACF 그래프를 의미한다.

    추세선이 존재하지 않는다고 판단하여 식(2)에 의해 1차 차분하였으며 결과는 Fig. 4와 같다. 식(2)는 시계열 yt 에 대 한 k차 차분을 의미하며 k는 시차(Lag)를 의미한다.

    ∇ y t = ( 1 − B ) y t = y t − y t − k
    (2)

    ARIMA의 차수를 결정하기 위해 ACF와 PACF를 사용하였 다. Fig. 5는 1차 차분한 데이터를 ACF를 사용하여 계산한 그래프이다. ACF는 h 시간 단위로 구분된 시계열이 관측치 사이의 상관 측도를 의미하며 식(3)과 같다.

    ρ k ≡ c o r ( Y t , Y t − k ) = C o υ ( y t , y t − h ) V a r ( y t ) V a r ( y t − h )
    (3)

    Fig. 6은 1차 차분된 시계열 데이터에 PACF를 사용하여 계산된 결과를 나타낸 그래프이다.

    이후 ADF(Augmented Dickey-Fuller Test)(식(4))를 사용하여 1차 차분한 데이터에 단위근이 존재하는지를 확인하였다. 단위근 검정은 차분이 필요한지를 결정하기 위한 방법이다. 귀무 가설은 단위근이 존재하므로 이를 기각하기 위해서는 p-value 0.05보다 낮게 나와야 한다.

    y t = c + σ t + Φ y t − 1 + β 1 Δ y t − 1 + … + β p Δ y t − p + ε t
    (4)

    Table 2는 ADF의 시험 결과이다. 귀무가설 검증을 통과하 였으며 이 때 P-value는 0.001 이하이다.

    Fig. 5와 6의 그래프에서 ACF, PACF는 각각 lag=6과 3에서 절단점을 가지고 있으며 차분은 1이다. 따라서 ARIMA 모형 의 p, d, q차수는 각각 5, 1, 2로 결정되었으며 식(5)와 같이 표현된다.

    ( 1 − φ 1 L − … − φ 5 L 5 ) ( 1 − L ) y t =                     c + ( 1 + θ 1 L + θ 2 L 2 ) ε t
    (5)

    3.2.2 LSTM 모델

    LSTM은 시계열 데이터를 활용하여 예측하기 위한 RNN의 한 종류이다. RNN은 은닉층의 값이 다시 은닉층으로 반복 입력되면서 이전 단계의 정보가 지속되도록 한다. 그러나 RNN에는 긴 의존 기간 문제가 있다. 즉 긴 시간 동안 학습할 경우, gradient vanishing이 발생하여 학습이 느려진다. LSTM 은 RNN에서 발생되는 긴 의존 기간의 문제를 해결하기 위 해 제안되었다.

    LSTM 네트워크에는 Fig. 7과 같이 3개의 게이트가 있다. 각 게이트는 정보를 전달하는데 얼마나 전달할지 얼마나 삭 제할지를 결정한다. 먼저 forget gate layer(식(6))에 의해 cell state 로부터 어떤 정보를 버릴지 결정한다. h(t-1)과 xt 를 받아 0과 1 사이의 값을 C(t-1)에 보내준다. 그 값이 1이면 모든 정보를 보존, 0이면 모두 버린다. 다음으로 새로운 정 보 중 어떤 것을 cell state에 저장할지를 결정한다. 이 때 input gate layer(식(4))라고 불리는 sigmoid layer가 어떠한 값을 업데이트할지 정한다. tanh layer는 C ˜ t 라는 벡터를 만든 후 cell state에 더한다. ouput gate(식(8))는 sigmoid layer에 input date를 입력하여 cell state의 어느 부분을 내보낼지 결정한다. 이 후 cell state를 tanh layer로 보내 –1부터 1 사이의 값을 선 택 후 계산된 sigmoid gate의 출력과 곱한다.

    f t = σ ( W x f T   ·   x t + W h f T   ·   h t − 1 + b f )
    (6)

    i t = σ ( W x i T   ·   x t + W h i T   ·   h t − 1 + b i )
    (7)

    o t = σ ( W x o T   ·   x t + W h o T   ·   h t − 1 + b o )
    (8)

    g t = tanh ( W x g T   ·   x t + W h g T   ·   h t − 1 + b g )
    (9)

    c t = f t ⊗ c t − 1 + i t ⊗ g t
    (10)

    y t , h t = o t ⊗ tanh ( c t )
    (11)

    3.2.3 BiLSTM 모델

    BiLSTM은 기존의 LSTM 계층에 역방향 LSTM 계층을 추 가한다. 최종 은닉 상태는 두 LSTM 계층의 은닉 상태를 연 결한 벡터를 반환한다. BiLSTM은 손실을 최소화하는 동안 모든 파라메터가 동시에 학습이 진행된다. 따라서 데이터 길이가 길어도 성능이 저하되지 않는다. Fig. 8은 BiLSTM 구 현 방법을 도식화 한 것이다. 먼저 첫 번째 LSTM 계층은 입 력 데이터를 왼쪽에서 오른쪽으로 처리한다. 이 후 두 번째 LSTM 계층은 입력 데이터를 반대로 처리한다. 출력 레이어 에서 두 LSTM 계층의 출력을 연결한다.

    3.2.4 GRU 모델

    LSTM에는 Fig. 7과 같이 삭제, 입력, 출력의 3개의 게이트 가 있다. GRU는 LSTM의 간소화 된 버전으로 GRU에는 Fig. 8 과 같이 업데이트, 리셋 게이트의 2개의 게이트만 존재한다.

    gate controller인 zt (식(13))가 forget과 input gate를 동시에 제어한다. GRU cell은 output gate가 없어 전체 상태 벡터 ht 가 타임 스텝마다 출력된다. 이전 상태 h(t-1)의 어느 부분이 출력될지 새로운 gate controller인 rt (식(12))가 있다.

    r t = σ ( W x r T   ·   x t + W h r T   ·   h t − 1 + b r )
    (12)

    z t = σ ( W x z T   ·   x t + W h z T   ·   h t − 1 + b z )
    (13)

    g t = tanh ( W x g T   ·   x t + W h g T ( r t ⊗ h t − 1 + b o )
    (14)

    h t = z t ⊗ h t − 1 + ( 1 − z t ) ⊗ g t
    (15)

    Fig. 10은 이제까지의 설계된 모델의 구성 및 데이터의 처 리 과정을 시각적으로 보여준다. 빨간색으로 표시된 부분은 모델별 구성에 차이가 있음을 의미한다. LSTM의 경우, 앞쪽 의 빨간색 사각형으로 표시된 부분은 LSTM과 dropout 레이 어가 추가되어 있다. 바로 뒤쪽 빨간색 사각형 내부에는 앞 의 빨간색 사각형 내부의 LSTM과 dropout 레이어가 2회 추 가되었다. BiLSTM, GRU도 같은 방법으로 뒤쪽의 빨간색 내 부의 레이어에는 앞쪽의 빨간색 내부의 레이어가 2회 추가되 었다. Fig. 9의 왼쪽부터 각 모델을 LSTM1, LSTM2, BiLSTM1, BiLSTM2, GRU1, GRU2로 하였다.

    3.3 평가 방법

    본 연구에서는 두 가지 방법으로 최적 모델을 선정한다. 먼저 초기에 가중치가 랜덤하게 지며 이로 인해 예측값이 달라지는 것을 고려하여 각 모델을 a) 10회 반복 실행한 후 RMSE의 평균이 가장 작은 모델을 선정한다. b) 두 번째는 모든 실험에서 최소의 RMSE를 가진 모델을 선정한다.

    4. 실험 결과

    본 연구에서는 Fig. 1의 921개의 주간 CCFI를 사용하여 모 델의 입력 변수로 활용한다. 921개의 단일 속성의 시계열 자 료를 2003년 시작을 기준으로 8:1:1의 비율로 나누어 데이터 학습, 검증, 테스트를 진행하였다. 데이터의 학습에 따른 예 측 정확도를 향상시키기 위해 식(16)과 같이 데이터를 표준 화하였다.

    d a t a   S t a n d a r i z e d = ( d a t a − μ ) / s i g
    (16)

    Table 3은 딥러닝 기반 모델의 실험 설정을 의미한다. 히 든레이어 층의 수에 따라 각각 LSTM1, LSTM2, BiLSTM1, BiLSTM2, GRU1, GRU2의 6종류의 모델을 설계하였다. 최적 화 함수로 adam을 사용하였다. 훈련을 진행할 최대 Epoch는 400으로 설정하였다. Epoch 125회 마다 학습률이 0.2배 만큼 줄어들도록 설정하였다. Gradient Threshold Method은 기울기 임계값을 초과하는 기울기 값을 자를 때 사용할 임계값 메 서드이다. 이러한 기울기를 제한하는 이유는 기울기 크기가 기하급수적으로 증가하는 경우, 훈련의 안정성이 감소하며 발산할 수 있다. 이는 학습이 불가능함을 의미한다. 따라서 기울기를 제한하여 신경망을 더 빨리 훈련 시킬 수 있다. 본 연구에서는 노름 기반 L2 norm 기울기 제한을 사용하였다. 실험 환경은 다음과 같다. OS: Windows 10 Pro, CPU: AMD 3960X, Ram: 128 GB, Graphic card: RTX 3090, Experimental software: MATLAB 2010a에서 실험을 진행하였다.

    4.1 모델의 CCFI 예측 및 RMSE 계산

    먼저 10회 실시하여 계산된 각 모델의 평균 RMSE가 가장 낮은 모델을 결정한다. Fig. 11은 ARIMA 모델을 사용하여 예 측한 결과 그래프이다. 빨간 실선은 ARIMA 모델의 식(5)의 마지막인 ∈t 이 평균 0, 분산 1인 가우시안 분포를 갖도록 하 여 10회 반복한 실험 결과이다. 검은색 실선은 10회 반복한 실험(빨간 실선)이 예측한 평균값을 의미한다. 검은 실선은 오른쪽 아래를 향하면서 CCFI가 시간이 지남에 따라 낮아진 다고 예측하였다.

    Fig. 12는 LSTM1 & 2, BiLSTM1 & 2, GRU1 & 2(각 모델 10 회 실시), ARIMA(Fig. 11의 평균값) 모델의 CCFI 예측 결과이 다. 같은 색은 같은 모델을 의미한다. 검정 실선(YTest)은 실 제 주간 CCFI를 의미한다. 가장 아래에 빨간 실선은 ARIMA 모델에 의한 예측 결과이다. LSTM1 & 2와 GRU1 & 2 모델 의 예측 결과는 실제 CCFI에 근접한 경향을 보였다.

    Table 4는 각 모델별 10회 실시하여 계산된 RMSE의 평균을 의미한다. GRU1 모델이 최소 RMSE(69.55)를 기록하였다. 뒤 를 이어 LSTM1과 GRU2가 각각 86.21와 91.36를 기록하였다.

    두 번째 실험 평가 방법은 모든 실험에서 최소 RMSE를 기록한 모델을 선정하였다. Fig. 13은 10회 반복 실험에서 기 록된 RMSE를 의미한다. GRU1 모델이 49.35(Table 5)으로 최 솟값을 기록하였으며 뒤를 이어 GRU2와 LSTM1이 각각 52.42과 68.97을 기록하였다.

    4.2 CCFI 예측을 위한 최적 모델 선정

    본 절에서는 10회 실시하여 계산된 각 모델별 RMSE의 평 균이 가장 작은 모델과 모든 실험에서의 가장 작은 RMSE를 가진 모델을 선정하였다. 두 평가 방법에서 모두 LSTM의 간 소화 된 모델인 GRU1이 선정되었다. Fig. 14는 실제 CCFI 데 이터(YTest, 검정 실선)와 GRU1(1GRU, 빨간 실선)에 의한 예 측된 CCFI를 나타낸 그래프이다. GRU1는 실제 값을 잘 예측 하는 경향을 보였으나 80번대에서 실제 CCFI보다 작게 예측 됨을 확인할 수 있었다.

    5. 결 론

    본 연구에서는 컨테이너 해상 운임을 예측하기 위한 딥러 닝 기반의 최적의 연구모델을 제안하였다. 이를 위해 딥러 닝 기법인 LSTM, BiLSTM, GRU 모델을 사용하였다. 각 모델 들은 하이퍼 파라메터 설정에 따라 레이어가 추가되어 총 6 가지의 모델이 설계되었다. 또한 이렇게 제안된 모델을 비 교하기 위해 전통적인 통계분석 방법인 ARIMA 모형을 활용 하여 비교, 분석하였다.

    최적 모델 선정 방법은 두 가지로 나누어 실시하였다. 먼 저 각 모델을 10회 반복 실험하여 계산된 RMSE의 평균값이 가장 작은 모델을 선정하였다. 두 번째는 모든 실험에서 가장 작은 RMSE를 가진 모델을 선정하였다. 실험 결과 이 두 가지 실험 평가 방법 모두에서 GRU1 모델이 가장 작은 RMSE를 기록하였다. GRU1은 LSTM의 간소화된 모델로 zt라는 gate controller에 의해 forget과 input gate가 동시에 관리된다는 특징 이 있다.

    본 논문에서 GRU 모델이 다른 딥러닝 모델보다 낮은 RMSE를 기록하여 최적 모델로 선정되었다. 그러나 GRU가 항 상 최적의 모델이라고 단정할 수는 없다. 저수지의 물의 유입 량을 예측하기 위한 연구(Apaydin et al., 2020)에서는 Epoch의 횟수에 따라 GRU와 LSTM의 RMSE가 바뀌었으며 500 Epoch 의 경우, LSTM이 더 낮은 RMSE를 기록하였다. 구글 브레인 팀에 의한 실험(Britz et al., 2017)에서는 LSTM이 GRU를 능가 하는 결과를 보였다. 고객의 평가를 예측하기 위한 연구 등 (Yang et al., 2020; Peter et al., 2019; Fu et al., 2018)에서는 GRU 가 LSTM보다 훈련 속도가 빠르다고 나왔으며 정확도, recall, 등 모두 GRU가 LSTM보다 더 나은 결과를 보였다. 그러나 계산 능력에 한계가 없거나 매개 변수에 따라 결과는 달라 질 수 있으며 상황에 따라 LSTM이 더 적합하다고 언급하 였다.

    본 연구의 시사점은 첫째, 기존의 전통적인 평가 방법에 서 딥러닝을 활용하여 해상 운임을 예측하였다. 예를 들어 ARIMA 모델의 경우, 시계열 데이터의 정상성 및 차분 등의 통계적 특성 조건을 확인하여야 하는 과정이 필요하였다. 그러나 딥러닝 기반 해상 운임 예측 모델의 경우, 이러한 과 정없이 더 정확한 예측이 가능함을 보여주었다. 둘째, 해상 운임의 변화를 기존의 CCFI 데이터만을 활용하여 예측함으 로써 연구 결과의 객관성을 재고시켰다. 셋째, 해상운임에 대한 정확한 예측을 통해 운임 변동의 위험관리 능력을 제 고시킴으로서 해운기업의 역량강화를 지원할 수 있는 실무 적 관점의 시사점을 갖추고 있다.

    또한 해운 시황을 예측하는데 중요한 활용 방법으로 사용 될 수 있다. 그러나 Fig. 12에서 확인할 수 있듯이 GRU1 모 델은 실제 모델을 비슷한 경향으로 예측한 것으로 보이나 코로나 19와 같은 영향으로 CCFI의 값이 급격한 상황이 발 생한 경우, 실제 값에 근접하지 못하는 경향을 보였다. 따라 서 이러한 상황을 극복하기 위해 하이퍼 파라메터의 최적 화, 다양한 시계열 데이터 예측 모델 간 비교, 분석 및 고성 능 컴퓨팅 환경에서의 실험 등의 방법을 활용한 후속 연구 가 필요하다. 또한 운임에 영향이 있는 다른 요소 데이터도 반영한 모델을 추가하여 정확도를 비교, 분석한다면 연구모 델의 신뢰도를 제고시키는데 기여할 것으로 사료된다.

    본 연구는 컨테이너 운임 시계열 데이터를 활용하여 운임 을 예측할 수 있는 모델을 제안하였으며 기존의 대표적인 시계열 예측 방법인 ARIMA 모델과의 비교, 분석을 통해 제 안된 모델의 우수성을 증명하였다. 이를 통해 딥러닝 기법 을 활용하여 생성된 모델이 컨테이너 선박 운임 예측의 신 뢰성을 높일 수 있다고 판단한다.

    Acknowledgments

    This work was supported by the National Research Foundation of Korea (NRF) grant funded by the Korea government (MSIT) (No. NRF-2020R1G1A1004161).

    Figure

    KOSOMES-27-5-574_F1.gif

    Weekly China Containerized Freight Index.

    KOSOMES-27-5-574_F2.gif

    Effect of COVID-19.

    KOSOMES-27-5-574_F3.gif

    ACF of CCFI without difference.

    KOSOMES-27-5-574_F4.gif

    First difference of CCFI.

    KOSOMES-27-5-574_F5.gif

    ACF result for first difference of CCFI.

    KOSOMES-27-5-574_F6.gif

    PACF result for first difference of CCFI.

    KOSOMES-27-5-574_F7.gif

    Structure of LSTM cell.

    KOSOMES-27-5-574_F8.gif

    Structure of BiLSTM.

    KOSOMES-27-5-574_F9.gif

    Structure of GRU.

    KOSOMES-27-5-574_F10.gif

    Comparison of Structure for LSTM, BiLSTM and GRU.

    KOSOMES-27-5-574_F11.gif

    Estimation for CCFI by ARIMA model

    KOSOMES-27-5-574_F12.gif

    Estimation for CCFI by LSTM, BiLSTM and GRU.

    KOSOMES-27-5-574_F13.gif

    Estimation of CCFI by GRU1.

    KOSOMES-27-5-574_F14.gif

    Estimation of CCFI by GRU1.

    Table

    Weekly CCFI from 2003 to 2021

    Result of ADF test

    Settings for Models

    Average and Minimum RMSE of Models

    Reference

    1. Ahn, Y. and B. Ko (2018), Analysis of Factors Affecting on the Freight Rate of Container Carriers, Korea Trade Research Association, Vol. 43, No. 5, pp. 159-177.
    2. Alsharif, M. H. , M. K. Younes, and J. Kim (2019), Time Series ARIMA Model for Prediction of Daily and Monthly Average Global Solar Radiation: The Case Study of Seoul, South Korea, Symmetry, Vol. 11, No. 2,
    3. Apaydin, H. , H. Feizi, M. T. Sattari, M. S. Colak, S. Shamshirband, and K. Chau (2020), Comparative Analysis of Recurrent Neural Network Architectures for Reservoir Inflow Forecasting, Journal of Water, Vol. 12, No. 5,
    4. Beenstock, M. and A. Vergottis (1989), An Econometric Model of the World Tanker Market, Journal of Transport Economics and Policy, Vol. 23, No. 3, pp 263-280.
    5. Britz, D. , A. Goldie, M. Luong, and Q. Le (2017), Massive Exploration of Neural Machine Translation Architectures, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1442-1451.
    6. Choe, Y. and I. S. Kim (2016), Derivation of Selection Factors of Cruise Home port in Asia Using Delphi Technique, Korea academic society of tourism management, Vol. 31, No. 8, pp. 199-218.
    7. Choi, J. S. and D. G. Hwang (2017), Development of Korean Container Freight Index Based on Trade Volume, Journal of Korea Port Economic Association, Vol. 33, No. 3, pp.53-66.
    8. Chung, J. , C. Gulcehre, K. H. Cho, and Y. Bengio (2014), Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling, Cornell University, Neural and Evolutionary Computing, arXiv:1412,3555.
    9. Cochrane, J. H. (1997), Time Series for Macroeconomics and Finance, Graduate School of Business, University of Chicago.
    10. David, M. , F. Ramahatana, P. J. Trombe, and P. Lauret (2016), Probabilistic forecasting of the solar irradiance with recursive ARMA and GARCH models, Solar Energy, Vol. 133, pp. 55-72.
    11. Duru, O. and S. Yoshida (2011), Centennial Decline of Shipping Freight Rates and Life Cycle Effect: Theory of Long Term Cycles, Vol. 3, No. 2, pp. 59-77.
    12. Duru, O. , E. Bulut, and S. Yoshid (2010), Bivariate long term fuzzy time series forecasting of dry cargo freight rates, The Asian Journal of Shipping and Logistics, Vol. 26, No. 2, pp. 205-223.
    13. Eslami, P. , K. Jung, D. Lee, and A. Tjolleng (2017), Predicting tanker freight rates using parsimonious variables and a hybrid artificial neural network with an adaptive genetic algorithm, Maritime Economics & Logistics, Vol. 19, No. 3, pp. 538-550.
    14. Fan, S. , T. Ji, W. Gordon, and B. Rickard (2013), Forecasting Baltic Dirty Tanker Index by Applying Wavelet Neural Networks, Journal of Transportation Technologies, Vol. 3, No. 1, pp. 68-87.
    15. Fayle, E. C. (1933), A short history of the world’s shipping industry, London: George Allen & Unwin.
    16. Fu, R. , Z. Zhang, and L. Li (2018), Using LSTM and GRU Neural Network Methods for Traffic Flow Prediction, 31st Youth Academic Annual Conference of Chinese Association of Automation (YAC).
    17. George, M. (2021), Forecasting oil tanker shipping market in crisis periods: Exponential smoothing model application, The Asian Journal of Shipping and Logistics, Available online 30 June 2021.
    18. Hayashi, K. (2020), Stationarity of spot freight rates considering supply/demand effect, Journal of Shipping and Trade, Vol. 5, No. 24,.
    19. Hochreiter, S. and J. Schmidhuber (1997), LONG SHORT-TERM MEMORY, Neural Computation, Vol. 9, No. 8, pp. 1735-1780.
    20. Kavussanos, M. G. and D. A. Tsouknidis (2014) , The determinants of credit spreads changes in global shipping bonds, Transportation Research Part E: Logistics and Transportation Review, Vol. 70, pp. 55-75.
    21. Kim, D. , H. Kim, S. Sim, Y. Choi, H. Bae, and H. Yun (2019), Prediction of Dry Bulk Freight Index Using Deep Learning, Journal of the Korean Institute of Industrial Engineers, Vol. 45, No. 2, pp. 111-116.
    22. Ko, B. and D. Kim (2019), Analysis of Container Shipping Market Using Multivariate Time Series Models, The Korea Port Economic Association, Vol. 35, No. 3, pp. 61-72.
    23. Li, K. X. , Y. Xiao, S. L. Chen, W. Zhang, Y. Du, and W. Shi (2018), Dynamics and interdependencies among different shipping freight markets, Maritime Policy & Management, Vol. 45, No. 7, pp. 837-849.
    24. Lim, S. and H. Yun (2019), Forecasting Tanker Indices with ARIMA-SVM Hybrid Models, Journal of Korean Association of Financial Engineering, Vol. 17, No. 4, pp. 79-98.
    25. Mo, S. W. (2013), A Forecast of Shipping Business during the Year of 2013, Journal of Korea Port Economic Association, Vol. 29, No. 1, pp. 67-76.
    26. Rumelhart, D. E. , P. Smolensky, J. L. Mcclelland, and G. E. Hinton (1986), Sequential thought processes in PDP models, pp. 3-57.
    27. Samjung KPMG Report (2020), COVID-19 Bussiness Report, Samsung KPMG.
    28. Stopford, M. (2009), Maritime Economics. 3rd Edition, Routledge, London.
    29. Yang, S. , X. Yu, and Y. Zhou (2020), LSTM and GRU neural network performance comparison study, 2020 International Workshop on Electronic Communication and Artificial Intelligence (IWECAI).
    Copyright © The Korean Society of Marine Environment and safety. All rights reserved.
    (530-729)Mokpo National Maritime Univ., Jukgyo-dong, Mokpo-si, Jeollanam-do, Korea