1. 서 론
자동계류시스템은 선체 부착을 위한 흡착 패드와 매니퓰 레이터 메커니즘(Manipulator mechanism)에 자동 제어 개념이 적용된 계류 장치이다. 이 시스템은 기존의 로프(Mooring rope)를 이용한 계류방식에 비해 신속하고 안전하게 계류가 가능하다는 점에서 새로운 대안으로 주목받고 있다(Kim et al., 2019). 자동계류시스템은 스위스의 카보텍(Cavotec)사가 최초로 제품을 출시하면서 유럽 항만을 중심으로 널리 활용되고 있다. 국내에서도 자율운항선박과 스마트항만 간의 연계기술 중 하나로 자동계류시스템 개발에 관한 연구가 활발히 진행되고 있다. 자동계류시스템의 최적 설계를 위한 대표적인 연구사례로 선박의 계류력 추정(Seo and Oh, 2022), 설계 및 구조 최적화(Kim et al., 2022a) 등에 관한 연구가 수행되었다. 자동계류시스템의 안정적인 제어를 위한 연구로는 선박의 동적 모델링 및 자동계류시스템의 제어기법(Kim et al., 2019;Kim et al., 2023), 시뮬레이터 기반의 제어기법 (Shin et al., 2022) 등에 관한 연구가 수행되고 있다. 또한 자동계류장치에 필요한 시각센서 시스템에 관한 연구로 레이저 기반의 위치/속도 측정기법(Kim and Kim, 2023), LiDAR 기반의 3D 시각센서(Kim et al., 2022b) 등에 관한 연구가 수행된 바 있다.
자동계류장치는 대개 부두 위에 일정한 간격을 두고 고정되어 설치되므로 접안하는 선박의 규모가 증가함에 따라 계류작업에 활용되는 장치의 개수가 증가한다. 여러 대의 장치가 계류작업에 사용되는 경우, 각 장치의 개별적인 저수준 제어(Low-level control)와 동원되는 장치들을 일괄적으로 제어하는 고수준 제어(High-level control)가 필요하다. 예를 들어 화물의 적·양하로 인한 흘수의 변화, 기조력으로 인한 해수면의 높이 변화 등은 선박의 히브모션(Heave motion)을 유발시킨다. 이러한 경우 흡착패드의 부착 위치를 재조정해야 할 필요가 있으며 이러한 작업을 스테핑-업/다운(Stepping-up/down)이라 한다. 특히, 작업에 투입되는 자동계류장치들을 일괄적으로 제어하는 경우 선박의 현재 자세를 계측할 수 있어야 한다. 아울러 계류장치의 제어 루프가 자동계류시스템 내부에서 형성되어야 선박과의 의존도가 제거되므로 선박의 자세 측정을 위한 센서 시스템은 부두 측에 설치되는 비접촉식 방식으로 설계될 필요가 있다.
비접촉식 방식의 대표적인 자세 측정 방법은 비전에 기반(Vision-based)하는 방법이다. 비전 기반의 자세 추정 문제는 센서에서 제공하는 데이터에 따라 RGB, RGB-D, 점군(Point cloud) 데이터 기반의 접근 방법으로 구분될 수 있다. RGB 데이터 기반의 연구사례로 Liu et al.(2021)는 단안 회귀 깊이 (Monocular regression depth) 기법과 CNN 신경망을 이용하여 물체의 6-자유도 자세 추정 문제를 다루었다. Fu et al.(2022) 는 신경망을 이용하여 RGB 영상에서 항공기의 검출, 3D 골격(Skeleton)을 추출, 6-자유도의 자세 추정으로 구성된 자세 추정 알고리즘을 제시하였다. 이 연구들은 하나의 RGB 영상 만으로도 6-자유도의 자세 추정 문제를 다루었다는 점은 주목할 만하지만 물체 전체가 아닌 일부만이 관측 가능한 경우 그 성능을 보장할 수 없다.
RGB-D 데이터는 컬러영상의 각 픽셀에 대응되는 깊이(Depth) 정보를 포함하므로 자세 추정 문제를 다루는 데 있어 유리하다. 또한 RGB-D 데이터는 카메라 모델을 이용하여 점군으로 변환 가능하다. Lin et al.(2022)은 3D 키포인트(Key point)를 활용하여 자세 추정을 위한 기하학적 정보를 학습하여 직접 회귀하는 방법을 제안하였다. Saadi et al.(2021)는 CNN 신경망을 이용하여 RGB영상에서 2D 키포인트를 검출하고 이를 깊이 이미지로 역투영(Back-projection)하는 방법으로 모델과의 3D-3D 대응 관계를 통해 물체의 자세를 추정하는 기법을 제시하였다. 이 외에도 RGB-D에 기반한 다양한 연구들이 존재하나, 이들은 보편적으로 실내 환경에 위치한 비교적 작은 물체에 대한 인식 및 자세 추정을 다루고 있다. 또한 인공신경망을 기반으로 하는 기법들의 경우, 물체 전체에 대한 실측 데이터나 3D CAD 모델이 필요하다는 관점에서 기존 기법들을 본 연구에 적용하는 것은 한계가 있다.
본 연구에서 다루는 선박의 자세 추정 문제는 다음과 같은 제약이 따른다. 첫째, 비전 센서 시스템은 실외 환경에서 10m 이상의 거리에서도 물체 인식 및 자세 추정이 가능해야 한다. 둘째, 대상 물체가 대형 선박이므로 비전 센서의 FOV(Field of view)에 따라 선박 전체가 아닌 측면 일부만 관측될 수 있다. Fig. 1은 수평축 기준 FOV가 110〫인 카메라를 이용하여 선박과의 거리가 대략 15m인 위치에서 캡처한 영상으로 앞서 언급한 제약사항들을 확인할 수 있다. 따라서 이러한 제약사항들을 극복할 수 있는 비전 센서의 선정과 이 센서의 특징을 반영하여 자세 추정 문제에 대한 해법을 정교하게 설계할 필요가 있다.
앞서 언급한 제약사항들을 고려하여, 본 논문은 실외 환경에서도 깊이 정보의 획득이 가능한 스테레오 비전을 이용하여 RGB-D 기반의 선박 6-자유도 자세 추정 기법을 제안한다. 제안된 방법은 물체의 부분적 특징(Feature)의 표현(Description) 이 가능한 2D 텍스쳐(Texture) 기반의 기법과 3D 점군 데이터의 기하학적 매칭(Geometrical matching) 기법을 동시에 이용한다. 자세 추정 성능을 높이기 위한 대안으로 두 단계로 구분된 특징 선별과정을 적용하여 알고리즘을 구성한다. 특히, 기하학적 매칭 오차의 분석을 통해 각 특징 좌표들에 대한 가중치를 부여하고, 산출된 가중치를 이용하여 노이즈로부터 강인한 6-자유도 자세 파라미터들을 추정하고자 한다. 제안 기법의 유용성을 평가하기 위해 각각의 자유도에 대한 변위에 대해 정확도 및 정밀도 분석을 실시한다.
논문의 구성은 다음과 같다. 제2장에서는 선박의 자세추정을 위한 시스템의 구성에 관해 설명한다. 제3장에서는 논문에서 제안하는 선박의 자세 추정 알고리즘에 관해 기술한다. 제4장에서는 실험을 통해 제안된 기법의 성능을 평가하고, 마지막으로 제5장에서 결론을 맺는다.
2. 시스템 구성
2.1 대상 카메라 센서
본 논문에서는 선박의 자세 추정에 있어서 2D 텍스쳐 특징들과 이 특징에 대한 깊이 정보를 활용하고자 한다. 이러한 정보를 제공하는 대표적인 카메라 센서로는 RGB-D 카메라로 통용되는 다양한 종류의 기성품이 존재하지만 실외 환경에서 10m 이상의 거리 범위에서 활용될 수 있는 센서는 제한적이다. 한편, StereoLab 사의 ZED 2i 모델은 선택 사양으로 편광필터(Polarizing filter)를 장착할 수 있어 실외 환경에 보다 적합한 요건을 가지고 있다. 또한 스테레오 영상 처리를 통해 깊이 정보 및 점군(Point cloud) 정보를 함께 제공하며, 깊이 검출 범위는 0.3 ~ 20m로 본 연구의 목적에 부합 된다. 깊이 정보와 점군 정보는 좌측 영상의 픽셀과 정렬되도록 구조화되어 있어 활용이 용이하다. Fig. 2는 ZED 2i 스 테레오 카메라의 외형 및 이용 가능한 데이터의 예시를 나타낸다. Fig. 2에서 (b)는 스테레오 영상의 좌측 영상을 나타낸 것이고 (c)는 좌측 영상과 정렬되어 있는 깊이 영상을 나타내고 있다. 또한 (d)는 3차원 공간상에 매핑된 점군 데이터를 나타낸 것이며 각각의 점들에는 색상정보가 포함되어 있음을 알 수 있다.
2.2 자세 추정 소프트웨어 구성
자세 추정 소프트웨어는 카메라 데이터 입력으로 선박의 6-자유도 자세 정보를 추정하여 출력하는 기능을 수행하며, 환경설정 모듈과 자세 추정 모듈의 두 개 모듈로 구성된다. 환경설정 모듈은 응용 목적에 따라 외적 환경요인을 반영한 각종 필터링 파라미터들을 등을 설정하기 위한 모듈이다. 실제 응용에 있어, 환경설정 모듈은 깊이 정보에 대한 제약 조건들을 반영할 수 있다. 이러한 파라미터들을 UI를 통해 직관적으로 설정할 수 있도록 구현한 것이 환경설정 모듈이다. 자세 추정 모듈은 다음 절에서 설명할 자세 추정 알고리즘이 구현되어있는 모듈로서 입력된 정보들을 토대로 선박의 6-자유도 자세 정보들을 추정하기 위한 모듈이다.
3. 자세 추정 알고리즘
일반적으로 6-자유도 자세 성분은 3차원 공간상의 각 축에 대한 위치성분(x, y, z)과 방향성분(rx, ry, rz)으로 구분된다. 본 논문은 위치성분을 벡터 형태로 나타내는 경우가 있는데, 이때는 병진벡터(Translation vector)의 용어를 사용하고 t (∈ℝ3)로 표기한다. 또한 방향성분을 오일러각(Euler angle)으로 표현하고 필요한 경우 회전행렬(Rotation matrix) R (∈ℝ3 × 3)로 표현한다. 이것은 오일러각과 회전행렬이 상호 변환 가능하기 때문이다. 선박과 같은 대상 물체의 회전을 논하는 경우 롤-피치-요(Roll-pitch-yaw)의 표현 방법이 적절할 수 있으므로 이와 같은 표현법도 병행한다. 이때 rx는 롤링(Rolling) 모션에 대응되고 ry 및 rz는 각각 요잉(Yawing) 및 피칭(Pitching) 모션에 대응된다.
본 연구에서는 일정 거리 내에 접안을 시작하면서부터 계류하고 있는 동안의 선박을 대상으로 6-자유도의 자세를 추정하기 위한 방법론을 다루고 있다. 일반적으로 대상 물체의 자세 추정을 위해서는 대상 물체를 인식하는 것이 우선적으로 필요하며, 이를 위해 2D 텍스쳐 특징에 기반한 방법을 이용하고자 한다. 그러나 2D 텍스쳐 특징을 이용한 전통적인 물체 인식 방법은 물체를 구성하는 특징들이 동일 평면상에 존재한다는 가정을 두고 평면 호모그래피(Planar homography)를 통해 서로 다른 공간의 기하학적 관계를 나타낸다. 따라서 영상 내의 특징들이 기준 평면에서 멀어져 있으면서 물체의 자세 변화가 커질수록 추정오차는 증가하게 될 것이며, 이로 인해 전체적인 자세 추정 성능의 저하는 자명한 현상이다. 이러한 문제점을 개선하기 위해 2D 텍스처 특징들을 이용하면서 특징들의 3D 공간정보를 활용하여 성능저하를 유발할 요소들을 사전에 배제하는 전략을 알고리즘에 반영하고자 한다.
제안하는 자세 추정 알고리즘은 2D 특징 추출/표현, 3D 필터링, 특징 매칭, 3D 대응쌍의 가중치 계산, 자세 파라미터 추정의 단계로 구성된다. 각 단계에 대해 간략히 설명하면 다음과 같다. 먼저, 2D 특징 추출/표현 단계는 입력되는 2D 영상으로부터 주요 특징점을 추출하고 디스크립터(Descriptor)를 이용하여 특징점 주변의 텍스쳐 정보를 나타낸다. 3D 필터링 단계는 추출된 특징들이 3D 공간상에서 유효한 영역에 있음을 확인하는 단계이며, 유효하지 않은 경우 특징 후보에서 제외된다. 다음으로 특징 매칭 단계는 현재 영상에서 추출된 특징들과 기준모델에서 추출된 특징들에 대한 유사도를 비교하여 양호한 매칭값을 가지는 특징들을 선별하는 단계이다. 3D 대응쌍의 가중치 계산 단계는 변환행렬 추정을 위한 3차원 공간에서의 대응쌍을 구성하는 단계이며 여기에서 각각의 대 응쌍에는 가중치가 부여된다. 자세 파라미터 추정 단계에서는 가중치가 부여된 3D 대응쌍을 이용하여 회전행렬과 병진 백터가 추정된다. 이렇게 추정된 회전행렬 및 병진벡터는 다음의 3D 대응쌍 선별 단계에서 재사용된다. 이렇게 제안된 자세 추정 알고리즘의 개략적인 구성을 살펴보았으며, 단계별 구체적인 내용은 다음 절에서 상세히 설명한다.
3.1 기준 모델 정의
실시간 영상에서 물체 인식을 위해서는 우선 인식하고자 하는 물체의 특징과 정보를 포함하는 모델이 필요하다. 이 모델을 기준 모델(𝕄)이라 표기하고 식(1)과 같이 정의한다.
여기서 Il은 모델을 설정하는 시점에서 획득된 스테레오 영상 중 좌측 영상을, D 는 동일 시점에서의 깊이 정보를 나타낸다. 또한 fi, di, pi, ei는 영상 Il과 깊이 데이터 D 를 이용하여 추출되고 선별된 M 개의 특징점(Feature), 특징디스크립터(Feature descriptor), 특징점의 3D 좌표, 3D 매칭 오차 (Matching error)를 각각 나타낸다.
실제 작업환경에서 기준 모델을 설정하는 작업은 선박이 계류 위치로 근접하여 자동계류시스템의 흡착 패드가 선체 측면에 부착되기 이전에 수행된다. 기준 모델을 구성하는 시점에서 식 (1)의 모델 파라미터들을 구하는 과정은 현재 시점에서의 파라미터들을 구하는 방법과 동일하므로 이에 대한 설명은 생략한다. 또한 알고리즘의 단계별 과정에서 기준 모델을 활용하는데, 이 때에는 기준 모델 파라미터들이 이미 계산되었다고 가정한다.
3.2 2D 특징 추출 및 표현
일반적으로 2D 영상 내의 물체 인식 문제를 다루는 방법으로 기준 모델 영상과 현재 입력된 영상에서 추출될 수 있는 특징점 및 특징 디스크립터를 이용한다. 이러한 특징/디스크립터에는 다양한 종류가 존재하며, 본 논문에서는 ORB(Oriented FAST and Rotated BRIEF) 기법을 이용한다. ORB 기법은 FAST(Features from Accelerated Segment Test) 키포인트 검출 방법과 BRIEF(Binary Robust Independent Elementary Features) 표현 방법이 결합된 특징 추출 및 표현 기법이다 (Rublee et al., 2011). Fig. 3(a)는 ORB 알고리즘의 구성을 간략히 나타낸 것으로, 특징 추출의 계산비용을 크게 줄일 수 있는 FAST와 이진 표현의 BRIEF 기법이 결합되어 있음을 확인할 수 있다. BRIEF는 디스크립터 구성 시 이진 문자열 표현을 통해 메모리 자원을 줄이면서 매칭에 소요되는 계산 비용을 획기적으로 줄일 수 있는 장점이 있다. 한편 두 기법의 단점을 극복하기 위하여, ORB 기법은 Fig. 3(a)에 나타난 바와 같이 스케일 피라미드(Scale pyramid)를 적용하여 특징의 크기 변화에 강인하고, 이미지 강도 중심(Intensity centroid)기법을 통해 계산되는 코너 패치의 방향을 디스크립터 배열에 적용함으로써 회전 변화에도 강인하도록 설계되었다(Rublee et al., 2011). Fig. 3(b)는 입력된 영상에서 ORB 기법을 이용하여 추출된 특징과 디스크립터를 간략하게 도시한 것으로, 노란색 사각형 영역은 시인성을 고려하여 확대된 영역을 나타낸다. 여기서 원의 중심은 특징의 위치를 나타낸다. 또한 원 안의 반경 직선은 특징의 방향을 나타내고 원의 크기는 특징의 크기(Scale)에 대응된다.
3.3 3D 필터링
2D 영상은 정형화된 해상도에서의 픽셀로 구성되어 있으므로 실제 물체가 투영되어있는 영상에서 추출된 특징은 이상치가 존재하지 않는다. 그러나 이를 3D 공간에서 관측할 경우 2D 영상에서와는 다르게 이상치(Not a number: nan)가 존재할 수 있다. 또한 이상치가 아니더라도 깊이 차이가 급격한 물체의 경계 부근에서는 공간상의 특징 좌표에 비교적 큰 노이즈를 수반하는 경우도 배제할 수 없다. 따라서 2D 영상에서 추출된 특징이 3D 공간에서도 유효한지를 판단하는 과정이 필요하며, 이를 고려하여 제안된 알고리즘에는 3D 필터링 단계를 삽입하여 구성한다. 효율적인 3D 필터링 작업을 수행하기 위하여 입력된 깊이 데이터와 동일한 해상도를 가지는 마스크 영상을 구성하여 활용한다. 이 마스크 영상은 이미 추출된 특징점들에 대하여 다음의 두 가지 기능을 수행한다. 첫째, 특징점의 깊이 값이 정상치가 아닌 경우 이 특징점을 제거한다. 둘째, 특징점의 깊이 값이 특정 범위 이외에 있는 경우 이 특징점을 제거한다. 식(2)는 위의 기능을 반영한 마스크 영상(Md)을 생성하는 규칙을 나타낸다.
여기서 u, υ는 이미지 픽셀 좌표를 나타내며 dmin, dmax는 각각 깊이 값의 하위 및 상위 임계치를 나타낸다. 마스크 영상의 두 번째 기능은 실제 응용에 있어 유용하게 활용될 수 있는 기능으로 이에 관해서는 추후 3.7절에서 다시 설명한다.
3.4 특징 매칭
특징 매칭은 기준 모델 영상에서 추출되어 기술되는 특징 디스크립터와 현재 입력된 영상 내의 특징 디스크립터 간의 가장 가까운 매칭을 찾는 것을 의미한다. ORB의 디스크립터는 이진 문자열 형식이므로, 특징 매칭의 유사도를 효율적으로 계산하기 위해 해밍거리(Hamming distance)를 이용한다. 또한 특징 매칭의 성능을 높이기 위해 kNN (k-Nearest Neighbors) 알고리즘에 기반한 매칭 기법이 이용된다. 이를 통해 기준 모델 공간의 k-번째 특징(fk′)은 입력된 영상 공간의 k개 최근접 이웃들(f1st, f2nd,⋯)을 특정할 수 있다. 본 논문은 Lowe(2004)의 비율검정(Ratio test) 방법을 적용하여 k=2 의 kNN을 구성하고 식(3)의 비율검정을 통해 특징 대응쌍을 구성한다.
여기서 dk,1st, dk,2nd 기준 모델 공간의 특징 fk′의 디스크립터 dk′와 현재 영상 공간의 첫 번째 및 두 번째 이웃 특징의 디스크립터 간의 해밍거리를 각각 나타낸다. 또한 비율 α는 실험을 통해 설정된 임계치인 0.8을 이용하였다(Lowe, 2004).
기준 모델 영상과 현재 입력된 영상에서 추출된 특징쌍은 식(3)의 선택 규칙에 따라 선별되거나 배제된다. 이렇게 선별된 특징 쌍은 특징점을 중심으로 주변 텍스쳐 정보가 대체로 유사하다는 물리적인 의미를 부여할 수 있다. 본 논문은 선별된 특징들에 더욱 엄격한 기하학적 제약을 부여하기 위해 특징들의 3차원 좌표정보를 이용하고자 한다. 따라서 특징 매칭 단계에서는 선별된 특징들의 2차원 픽셀 위치 대신 3차원 공간상의 위치 정보를 이용하여 대응쌍을 구성한다. 기준 모델 영상과 현재 입력된 영상 간의 특징 매칭을 통해 선별된 j-번째 특징 쌍을 각각 
, fj이라 하고, 이에 대응되는 3D 공간 좌표를 각각 xj′(∈ℝ3), xj(∈ℝ3 )라 하자. 그러면 선별된 L 개의 대응쌍은 식(4)와 같이 구성된다.
3.5 3D 대응쌍의 가중치 계산
대상 선박의 6-자유도 자세는 3차원 공간상의 좌표변환을 위한 회전행렬 R(∈ℝ3 × 3)과 병진벡터 t (∈ℝ3)로 표현 가능하다. 따라서 식(4)에서 j-번째 특징의 3D 좌표 대응쌍은 xj′ = R xj +t 의 관계가 있으며, 이를 이용하여 L 이 최소 3 이상의 대응쌍이 존재하면 회전행렬과 병진벡터의 계산이 가능하다. 그러나 이들 대응쌍을 구성하는 각 좌표점에는 일반적으로 특징점 추출 과정에서 노이즈가 필연적으로 포함된다. 따라서 회전행렬과 병진벡터를 추정하는 과정에서 노이즈로 인한 추정오차를 획기적으로 줄일 수 있는 새로운 전략이 필요하다. 이에 대한 본 논문의 접근 방법은 3D 대응쌍 각각에 대해 기하학적 매칭(Geometrical matching) 정도를 평가하고, 이를 가중치로 변환하여 회전행렬과 병진벡터의 추정에 이용하는 것이다. 기하학적 매칭 정도를 평가하기 위하여 기하학적 매칭 오차 e를 식(5)와 같이 정의한다.
여기서 첨자 j는 대응쌍의 인덱스를 나타내며, 
는 회전 행렬과 병진벡터의 추정치를 의미한다. 또한 
, xj는 기준 모델 영상과 현재 입력 영상에서의 선별된 j-번째 특징점의 3D 공간 좌표를 각각 나타낸다. 식(5)의 회전행렬 
과 병진 벡터 t̂ 는 프로그램 시작 시점에서 각각 단위행렬과 영벡터로 초기화된다. 이후 현재 시점의 마지막 단계인 자세 파라미터 추정 단계에서 새로운 회전행렬과 병진벡터가 추정되며, 이때의 추정치들은 다음 시점에서의 과 t̂ 로 업데이트 된다.
기하학적 매칭 오차는 기준 모델 공간 내에서 대응쌍의 좌표가 기하학적으로 얼마나 일치되는가를 평가하는 척도로 이용된다. 즉, 이 값이 0인 경우에는 두 대응점이 완벽하게 일치하며, 0보다 커질수록 대응점 사이의 거리가 멀어진다. 이 매칭 오차를 자세 파라미터의 추정 과정에서 활용하는 방법으로 매칭 오차가 큰 대응쌍을 배제하는 것과 매칭 오차를 가중치로 변환하여 이 대응쌍의 상대적인 기여도를 낮추는 전략을 생각할 수 있다. 이 두 가지 전략을 고려하여 매칭 오차를 이용한 필터링과 가중치를 부여하기 위해, 제안된 알고리즘은 먼저 식(6)의 선별규칙을 적용하여 N개의 대응쌍을 다시 한번 선별한다.
여기서 emax는 최대 허용 매칭오차를 나타내며 ej가 emax 보다 크거나 같은 경우에는 대응쌍 구성에서 제외된다. 식(6) 을 통해 2차 선별된 N개의 대응쌍은 emax보다 작은 매칭 오차를 가지는 쌍이며, 이 대응쌍의 기여도를 나타내는 가중 치(wi)로 변환하기 위해 식(7)로 정의되는 가중변환함수를 이용한다.
최종적으로 가중치가 부여된 대응쌍은 식(8)과 같이 구성된다.
3.6 3D 자세 파라미터 추정
일반적으로 주어진 대응쌍으로부터 기하학적 변환모델을 추정하는 문제에 있어 RANSAC(Random sample consensus) 기법이 널리 이용된다. RANSAC 기법은 모델 파라미터 추정과 통계적 이상치(Outliers) 제거를 반복적으로 수행하면서 노이즈로부터 강인한 파라미터의 추정이 가능하다. 반면 제안된 알고리즘은 이미 대응쌍의 매칭 오차에 근거하여 가중치를 산출한 상태이므로 반복적 방법(Iterative method)이 아닌 직접적 방법(Direct method)을 적용할 수 있다. 가중치가 부여된 대응 쌍이 주어졌을 때 최적 변환행렬을 구하는 최적화 문제는 식 (9)와 같은 비용함수 WRMSE(Weighted Root Mean Square Error) 를 최소로 하는 , t̂
를 구하는 문제로 정형화될 수 있다.
여기서 wi는 식(7)로부터 산출되는 i-번째 대응쌍에 대한 가중치를 나타낸다. 식(9)의 비용함수를 최소로 하는 최적해는 다양한 해법이 존재한다. 이에 관한 보편적인 해법은 다음과 같다. 우선 식(8)의 대응쌍에서 기준 모델 공간과 현재 입력공간에서의 점군 x′(∈ℝ3 ×N), x(∈ℝ3 ×N)에 대해 가중치 wi (∀i = 1,2,⋯,N)를 이용하여 식(10)과 같이 가중평균 μx', μx (∈ℝ3)를 구한다.
다음으로 모든 점군 x′, x 를 각각 μx', μx 만큼 중심 이동시킨 후 식(11)과 같은 가중합을 적용하여 공분산 행렬(C)을 구한다.
식(11)의 공분산 행렬 C는 SVD (Singular value decomposition) 를 통해 식(12)와 같이 분해될 수 있다.
여기서 U , V⊤는 각각 좌특이벡터(Left singular vectors) 및 우특이벡터(Right singular vectors)로 구성된 직교행렬이며, Σ 는 특이값(Singular values)으로 구성된 대각행렬이다. 이렇게 분해된 U , V⊤ 를 이용하여 식(13)와 (14)과 같이 회전행렬과 병진벡터를 추정할 수 있다(Arun et al., 1987).
식(13)-(14)를 통해 현재 시점에서 변환행렬이 추정되면, 이 변환행렬은 다음 시점의 대응쌍 가중치 계산 단계에서 재활용된다. 이는 알고리즘 수행 주기가 100ms 이하로 충분히 짧은 경우 물체의 자세를 나타내는 , t̂
에 대한 급격한 변화가 없다는 가정에서 비롯된다. 실제 현실적 상황을 고려할 때, 부두에 근접하여 접안을 시도하는 선박의 경우 상당히 저속으로 움직이며 계류 중인 선박의 경우에는 자세 변화가 미미하다. 이러한 가정하에 이전 시점에서 추정된 , t̂
는 현재 시점의 매칭오차 산출을 위해 재활용가능하다.
한편, 기준 모델 영상 내에서 추출된 특징점 중 매칭 오차가 상대적으로 작은 특징들은 변환행렬을 추정함에 있어 기여도가 높고, 이들의 3D 좌표는 상대적으로 안정적인 위치에 놓여 있다고 추론할 수 있다. 또한 이러한 특징점들은 다음 시점에서의 가중치 계산 단계에서도 높은 가중치를 획득할 가능성이 크다.
Fig. 4는 제안된 알고리즘의 전체 구성도를 나타낸다. 앞서 기술한 대로 알고리즘은 좌측 영상 데이터(Il)와 깊이 데이터(D)를 입력받고 최종적으로 회전행렬()과 병진벡터 (t̂)를 출력한다. 회전행렬 또한 오일러각(Euler angle)으로 변환될 수 있으며, 이를 통해 자세 추정 파라미터는 (x, y, z, rx, ry, rz)로 구성 가능하다. 여기서 rx, ry, rz는 오일러각으로 각각 x, y, z 축에 대한 회전각을 나타낸다.
3.7 3D 필터링 단계에서의 도메인 지식 적용
3D 필터링 단계는 3.3절에서 이미 설명하였으나, 특수한 상황에서 도메인 지식(Domain knowledge)을 알고리즘에 반영하여 계산 속도 및 추정 성능을 향상시키기 위한 방법을 본 절에서 설명하고자 한다. 논문의 서론에서 설명한 Fig. 1은 센서 시스템의 설치 장소에서 카메라로부터 캡처된 샘플영상이다. 이러한 환경을 고려하면 다음의 두 가지를 확인할 수 있다. 첫째, 선박은 부두를 경계로 더 이상의 물리적인 접근이 불가능하다. 둘째, 카메라의 현재 FOV로는 선체 전체가 아닌 일부분만이 관측 가능하다. 이러한 도메인 지식을 알고리즘에 적용하는 예시로서 3D 필터링 단계에서 마스크 영상을 생성할 때 깊이 값의 최소 한계를 반영할 수 있다. 이는 부두로 인해 발생하는 물리적인 경계를 반영한 것으로 부두 위의 장애물 또는 작업자들로 인한 노이즈를 사전에 차단할 수 있다.
4. 실험 및 고찰
4.1 실험환경
제안된 알고리즘의 자세 추정 성능을 평가하기 위하여 연구팀은 다음과 같은 조건으로 실험을 수행하였다. 실제 선박을 대상으로 성능 평가를 위해서는 선박의 자세를 실측할 수 있어야 하는데 이러한 작업은 까다롭다. 이러한 상황을 고려하여 물체의 자세를 비교적 정확하게 구현할 수 있는 실험 장치를 구성하였다. 우선 Fig. 1과 같이 부두에 설치된 카메라를 통해 획득한 영상을 참조하여, Fig. 5(b)와 같은 1200×800[mm] 크기의 포맥스 패널(Form sheet panel) 위에 실사 사진을 인쇄하여 선체의 측면을 모사하였다. 또한 패널의 자세를 원하는 위치와 방향이 되도록 제어 가능한 UR5 모델의 산업용 매니퓰레이터(Manipulator)를 이용하여 실험환 경을 구축하였다. 이때 매니퓰레이터의 말단부와 패널을 부착시키는 방법으로 Fig. 5(c)와 같이 진공식 흡착 패드가 장착된 말단부(End-effector)를 이용하였다. 가능한 한 실제 선박에 대한 실험 환경과 유사한 조건을 모사하기 위해, 실사 패널에는 8256×5504 픽셀의 고해상도 이미지를 출력하여 Fig. 5(d)와 같이 카메라로부터 화질 저하 없는 충분한 해상도의 영상이 획득될 수 있도록 하였다. 또한 실사 패널이 카메라 시야에 상당 부분이 채워질 수 있도록 카메라를 위치 시켰으며, 그 결과 카메라와 패널과의 거리가 약 72cm인 실험환경이 구축되었다[Fig. 5(b) 참조].
성능 평가를 위한 데이터의 획득 과정은 다음과 같다. 먼저 매니퓰레이터를 제어하여 포맥스 패널을 Fig. 5(b)와 같이 초기 자세로 위치시킨 후 데이터를 취득하여 식 (1)의 기준 모델 파라미터들을 학습시켰다. 실제 상황에서의 접안 시나리오 중 일례로서, 선박이 계류 위치에 근접하면 사용자의 스위치 조작으로 자동계류장치를 이용한 계류작업이 시작되는데 이 시점에서 선박의 자세 추정을 위한 기준 모델이 설정된다. 다음으로 매니퓰레이터 제어를 통해 패널의 6자유도 자세를 독립적으로 변경시켰다. 또한 이 상태에서 제안된 알고리즘을 적용하여 6-자유도 자세 파라미터 (x, y, z, rx, ry, rz)를 추정하였다. 이때 x, y, z의 자세는 각각 (-20, -10, 0, 10, 20) [cm]의 5개 구간을 설정하였고, 회전 파라미터 rx, ry, rz는 (-10, -5, 0, 5, -10) [deg]의 5개 구간을 설정하였다. 수집을 위한 데이터는 카메라 좌표계를 원점으로 기준 모델 좌표계의 자세 데이터(6개)와 현재 추정된 자세 데이터(6개)로 구성되었으며, 각 설정 구간별로 매회 500 개의 샘플 데이터가 획득되었다. Fig. 5(d)는 z축에 대한 변위가 발생한 물체에 대해 데이터를 취득하는 과정에서 물체의 자세를 추정하고 있는 장면을 나타낸다. 여기서 영상 내의 점은 현재 단계에서 추출되고 선택된 특징점을 나타내며 특징점 주위의 직선은 기준 모델의 위치로부터의 변위를 나타내고 있다. Fig. 5(d)의 작은 사진들은 주어진 병진 및 회전 자세 변경 상태에서의 자세 추정 장면에 대한 예시이다.
4.2 결과 및 분석
Table 1~4는 실험을 통해 수집된 데이터들의 통계적 특성 분석 결과를 나타낸다. 수집된 데이터는 모두 카메라 좌표계를 기준으로 산출되었으므로, 기준 모델 좌표계를 원점으로 하는 상대적인 추정치가 되도록 좌표변환을 수행하였다. Table 1은 각 자세 구간별로 획득한 500개의 데이터에 대한 평균(Mean) 및 표준편차(SD)를 나타낸다. x-, y-, z-축 병진에 따르는 추정 정확도는 평균치를 통해 확인할 수 있는데, 모든 자세 구간에서 양호한 추정 정확도의 구현이 가능함을 알 수 있다. z-축의 자세 변화에서 상대적으로 약간 높은 표준편차 수치를 관찰할 수 있는데, 이는 카메라 영상의 관점에서 물체의 크기 변화가 나타나는 상황이며 다른 축에 비해 상대적으로 변화량이 크다. 하지만 최대 0.0208cm의 표준편차 수치를 통해 정밀도 또한 양호한 결과를 나타내고 있다.
Table 2는 회전 파라미터들에 대한 추정 결과를 나타내고 있다. 패널에 인쇄된 선체 측면의 관점에서, rx는 롤링 (Rolling) 모션에 대응되고 ry 및 rz는 각각 요잉(Yawing) 및 피칭(Pitching) 모션에 대응된다. 회전 파라미터 또한 전 구간에서 양호한 추정 정확도를 확인할 수 있다. 추정 정밀도의 관점에서 rz(피칭) < ry(요잉) < rx(롤링) 순으로 표준편차가 약간씩 증가하는 경향이 있는데, 이는 알고리즘에서 나타나는 특이사항이라기보다는 창문, 형광등의 위치와 패널의 자세에 따른 반사 광량의 변화에 기인한 것으로 판단된다. 그러나 회전 파라미터의 경우 또한 0.0560[deg]의 이하의 낮은 표준편차를 보이고 있어 제안된 알고리즘이 회전 자세에 대해서도 양호한 추정 정밀도를 재현하고 있음을 확인할 수 있다.
Table 3과 Table 4는 설정자세와 추정자세를 차이를 나타낸 평가지표로서 RMSE(Root mean square error)를 이용하여 산출한 것이다. Table 3은 병진 파라미터에 관한 데이터이며, y 파라미터의 RMSE 수치가 약간 높게 보고되었지만 주목할 만한 수치는 아닌 것으로 판단된다. Fig. 6 (a)는 Table 3의 수치들을 그래프로 출력한 것으로 전 구간에서 1mm 이하의 RMSE 수치를 확인할 수 있다. Table 4는 회전 파라미터에 대한 RMSE 수치이며 Fig. 6 (b)는 이 수치들을 그래프로 출력한 것이다. 회전 파라미터 또한 0.1〫미만의 RMSE 수치를 확인할 수 있다. 병진 및 회전 파라미터의 모든 RMSE 수치들에 대하여 ARMSE(Average of RMSE)를 산출한 결과 병진 파라미터는 0.0323[cm], 회전파라미터는 0.0430[deg]의 수치정보를 얻을 수 있었다. 병진 파라미터의 경우, 카메라와 실사 패널 간의 거리 72cm를 적용하면 측정 거리에 대한 오차 비율로 환산될 수 있다.
ARMSE 기준으로 제안된 방법의 성능을 요약하면 다음과 같다. 첫째, 병진 파라미터의 추정 성능은 측정 거리의 ±27% 에 달하는 물체의 병진 범위 내에서 ≤0.05% 정확도를 가진다. 둘째, 회전파라미터의 추정 성능은 ±20〫에 달하는 물체의 회전범위 내에서 ≤0.05〫정확도를 재현한 것으로 평가된다.
5. 결 론
본 논문은 자동계류시스템을 이용한 선박의 계류 과정을 고려하여 비접촉 방식의 6-자유도 자세 추정기법에 관해 다루었다. 자세 추정 성능의 정확도 및 정밀도를 높이기 위해 본 논문은 2D 텍스쳐 정보와 3D 점군 정보가 함께 고려된 자세 추정 알고리즘을 제안하였다. 특히 전통적인 특징점 기반의 물체 인식 및 자세 추정 문제를 3차원 공간에서의 문제로 확장하여, 1차 텍스쳐 특징 선별, 선별된 특징들에 대한 3D 공간상의 기하학적 매칭 정도를 평가, 2차 기하학적 특징 선별의 과정으로 이어지는 알고리즘을 제안하였다. 또한 기하학적 매칭 정도를 특징 쌍의 기여도에 대한 가중치로 활용하였으며 WRMSE를 최소화하는 회전행렬과 병진 백터를 추정하였다. 아울러 이 추정치들을 다음 단계에서 재사용하는 전략으로 알고리즘을 설계하였다. 제안된 기법의 유용성을 평가하기 위해 6개의 자유도 별로 설정된 자세 구간에 대한 성능 실험을 수행하였고, ARMSE를 기준으로 제안된 방법의 성능을 요약하면 다음과 같다. 본 논문에서 제안한 6-자유도 자세 추정 알고리즘은 병진파라미터 추정 오차의 경우 측정 거리의 0.05% 이하, 회전파라미터 추정오차의 경우 0.05〫이하인 성능을 재현할 수 있었다.
제안된 기법은 선박과 같은 대형 물체를 대상으로 6-자유도의 자세 추정 문제에 대한 해법을 제시했다는 점에서 의미 있는 연구 결과라 판단되며, 제안된 기법을 활용한 다양한 응용이 기대된다. 실제 대형 선박을 대상으로 하는 추가적인 실험과 성능 개선 문제는 추후 과제로 남긴다.
