최근 자율주행기술에 대한 연구가 활발하게 이루어 지고 있다. 2010년 구글에서 처음으로 자율주행차량을 선보였으며, 2019년도부터 미국 샌프란시스코 등 도심에서 자율주행 택시의 운행 시험이 시작되었다. 이렇듯 짧은 기간에 자율주행기술에 대한 연구 개발뿐만 아니라 현재 실행 단계까지 진행이 되고 있다.
자율주행차량은 운전자의 조작 없이 자동차 스스로 운행 가능한 자동차를 말한다. 자율주행 차량의 자율주행기술은 6단계로 나누어진다. 0~2단계는 사람이 주행 환경을 완전히 통제하는 단계이고, 3~5단계에서 본격적으로 자율주행기술을 이용한다. 자율주행차량의 최종 목표는 완전 자동화인 5단계를 최종 목표로 하고 있다. 5단계는 모든 도로 조건과 환경에서 운전자의 참여 없이 자율주행기술이 항상 주행을 담당하는 수준이다. 자율주행차량의 완전한 자율 주행을 위해서는 다양한 센서의 융합을 필요로 한다. 그 중 라이다(LiDAR) 센서는 자율주행기술에서 중요한 역할을 수행하는 센서들 중의 하나이다.
라이다 센서는 광선이 반사되는 정도로 거리, 형태, 재질 등을 판별할 수 있는 센서이다. 카메라와 달리 눈이나 비가 내리는 악천후 조건에 강하고 레이더보다 파장이 짧기 때문에 멀리 있는 물체에 대해서도 정보를 얻을 수 있고, 이런 이유로 많은 자율주행차량에서 이용되고 있다. 그리고 라이다 센서는 수cm 단위로 대상과의 거리를 측정할 수 있기 때문에 정확한 3차원 정보를 얻을 수 있다는 장점이 있다. 정확한 3차원 정보를 얻을 수 있기 때문에 라이다 센서 정보의 양 또한 중요하다. 라이다 센서의 정보가 많을수록 객체 감지나 인식, 3차원 지도 생산 시 좋은 성능을 발휘한다. 그렇기 때문에 많은 양의 라이다 정보를 획득 하기 위해 고해상도 라이다 센서를 필수적으로 이용한다. 그러나 라이다 센서의 해상도가 높을수록 기기의 가격이 많이 상승하는 문제가 발생한다. Velodyne사의 16채널 라이다 제품의 경우 수 백만원의 가격을 형성하고 있으며, 해상도가 두배인 32채널 라이다 센서의 경우 수 천만원의 가격을 형성하고 있다. 이러한 비용적인 문제를 해결하고 많은 양의 라이다 정보를 얻기 위해서는 라이다 정보의 양을 증가시키는 라이다 업샘플링(Upsampling) 연구가 필요하다.
본 논문은 저해상도 라이다 정보와 비전 카메라의 이미지 정보를 이용하여 가중 메디안 필터(Weighted Median Filter)를 통해 저해상도 라이다 데이터를 업샘플링 하는 방법을 제시한다. 먼저 라이다 센서와 비전 카메라를 이용하기 위해 두 센서의 보정(Calibration)을 진행 한다. 두 센서 보정을 통해 이미지 정보의 색채 정보를 라이다 센서에 적용할 수 있다. 또한 비전 카메라 이미지와 같은 크기의 깊이 지도(Depth map)를 만들 수 있다. 깊이 지도에는 라이다 센서의 거리 데이터가 저장된다.
본 논문은 깊이 지도를 이용하여 라이다 업샘플링 알고리즘을 진행 한다. 업샘플링은 두 가지 과정이 필요하다. 첫번째 과정은 선형 보간을 통해 1차 업샘플링을 진행 한다. 두번째 과정은 1차 과정에서 보간하지 못하였던 부분 보완과 노이즈 제거를 위해 가중 메디안 필터를 사용하여 2차 업샘플링을 진행 한다. 이러한 과정을 거치게 되면 저해상도 라이다 정보의 양을 크게 증가 시킬 수 있다. 이렇게 증가된 라이다 정보를 이용하여 고밀도 3차원 지도를 만들 수 있다. 이 후 2장에서는 관련 기술에 대한 설명을 할 것이고 3장에서는 본 논문에서 제안하는 기술에 대해 자세하게 설명 할 예정이다. 그리고 4장에서는 실험 장치 소개와 실험 결과를 확인할 수 있다.

We present an Upsampling method to get dense three-dimensional data using low-resolution LiDAR data, vision cameras, and Weighted Median Filter algorithm. Recently, LiDAR is widely used in the field of Computer Vision because it can obtain accurate three-dimensional data. However, the cost of LiDAR is much more expensive depending on the amount of LiDAR data. Because, the more amount of accurate 3D data is obtained, the better the research results. So we studied how to obtain large amounts of three-dimensional data using low-channel LiDAR. In our research, we collect LiDAR data and color images through multi-sensor using LiDAR and vision camera. First, we perform LiDAR and camera calibration to find the relative transformation of the two sensors. And then create a depth map with the same resolution as the color image. Second, we processing the first Upsampling via depth map linear interpolation. And then, the final Upsampling uses a WMF algorithm to complement the first Upsampling data. We used the Upsampling algorithm to create dense 3D data from the existing sparse LiDAR data.