03. 자율주행 환경 인식 기술 feat. 카메라, 레이더, 라이다, 센서 퓨전

자율주행자동차의 핵심기술은 크게 주행환경 인식, 판단주행 전략, 차량제어의 3가지 기술로 구성됩니다. 이 중 차량에 탑재되어 자신의 위치 및 주변 장애물을 검출, 인식 등을 수행하는 인식 기술을 수행하는 카메라, 레이더, 라이다를 알아봅니다.

 

자율주행 관련하여 다른 내용을 보고 싶으시면 아래의 내용을 참조 바랍니다. 

 

자율주행 차량 

01. 자율주행 차량(Self-driving car / Autonomous car)

 

차세대 지능형 교통 체계(C-ITS) feat. ITS

02. 차세대 지능형 교통 체계(C-ITS) feat. ITS

 

1. 카메라

주행중 차로 및 차량인식 / 사람 및 도로표지판 인식

카메라는 주로 차선 검출 신호등 검출 및 보행자 검출과 같은 물체 인식 및 추적 작업에 사용됩니다.

 

특히 차벽이나 가드레일, 연석처럼 제법 형체를 갖춘 물체와는 달리 도로위에 밀착되어 있는 형태의 차선은 LiDAR나 RADAR와 같은 반사파를 이용한 방식으로는 사실상 인식이 힘들기 때문에 카메라를 활용합니다.

 

카메라를 통한 주행환경 인식은 상단의 그림과 같이 자동차 전용도로에서 주행차로 유지 및 차선 변경을 위한 차선인식 외에도 도로의 합류지점 및 분기지점에 대한 인식과 이에 대응하는 주행 지원도 가능하게 합니다. 또한 보행자, 표지판, 도로변의 주·정차 차량, 이륜차 등의 형상정보를 구분하여 인식하여 안전한 주행과 주차 보조 등을 지원할 수 있습니다.

 

자율주행을 위한 카메라에는 렌즈가 한 개인 모노카메라(Mono Camera, 단안카메라)도 사용되지만, 두 개의 렌즈를 갖는 카메라이거나 두 대의 카메라를 하나로 묶은 형태의 스테레오 카메라(Stereo Camera)도 사용됩니다.

 

스테레오 카메라는 사람이 양쪽 눈을 통해 거리를 인식하는 것과 같은 원리로 거리정보를 계산합니다. 이 과정에서 카메라 간의 내/외 변수를 추정하는 계산과 두 카메라로부터 들어온 영상 내에서 서로 대응되는 위치를 찾는 스테레오 매칭(Stereo Matching)작업이 수반됩니다. 이 때문에 이 방식은 모노카메라 방식에 비해 알고리즘이 복잡하고 가격이 올라가는 단점이 있지만, 최근 하드웨어적 성능향상과 가격 하락으로 인해 대중화에 가까워지고 있습니다. 또한 자율주행차에서 고가의 장비인 라이다와 모노카메라의 조합에 대한 대체재로도 각광받고 있습니다.

 

카메라는 예전부터 활용되어 왔던 센서로서 가격이 낮은 것이 장점이고, 풍부한 데이터를 확보할 수 있는 것 역시 장점입니다. 다만 환경변화에 취약하고 계산에 많은 컴퓨팅 리소스(일반적으로 60Hz에서 실행되는 것을 고려하면 초당 1GB 이상의 데이터가 생성)가 필요하다는 것이 단점입니다. 최근 급속도로 발전하여 환경변화에 강인하고, 야간에 적은 불빛 만으로도 동작하는 카메라가 속속 개발되고 있습니다.

 

 

2. 레이더

자율주행 차량에서의 레이더

레이더는 도플러 효과를 이용, 전자기파를 송출하여 물체에 부딪쳐서 반사하는 신호를 해석, 목표물의 거리와 각도, 속도 등의 정보를 만들어냅니다. 관측 레이더와 기상 레이더, 3차원 레이더 등 다양한 레이더가 존재하지만, 국내의 기술개발은 해외 의존적이고, 특히 칩벤더의 솔루션에 기대고 있는 실정입니다. 국내에서도 자동차 제조사의 1차 벤더를 중심으로 국산화 시도를 하고 있습니다.

 

레이더의 주파수 대역은 국제 표준화를 통해 공통으로 대응하고 있으며 다년간 상용화된 24Ghz 밴드에서 현재는 77GHz 전방영역과 76~81GHz의 광대역 영역을 사용하도록 명시되어 있습니다. 24GHz 영역에서 주파수가 높아진다면 안테나나 모듈의 사이즈를 줄일 수 있고, 사용할 수 있는 대역폭을 넓힐 경우 거리 분해도를 높일 수 있는 장점이 있습니다. 전 세계 칩밴더들을 중심으로 77GHz의 전방 중거리 레이더(MRR;Mid Range Radar)와 장거리 레이더(LRR;Long Range Radar)를 개발해 상용화하고 있고, 79GHz의 중심주파수를 가진 광대역 밀리미터파 레이더의 경우 작게는 90°에서 150°를 탐지하는 형태의 단거리 레이더(SRR;Short Range Radar)를 개발하고 있습니다.

 

레이더는 현재 사용차량에 탑재되어 가장 많이 상용화되어 있는 센서입니다. 낮, 밤에 구분없이 활용할 수 있으며 날씨변화에도 큰 영향을 받지 않아서. 카메라보다 효과적이라 대부분의 자동차업체에서 추진하는 자율주행기술에서 전·후방 및 좌우에 장착하여 최소 6개의 레이더를 활용하는 추세입니다.

 

환경 변화에 강하고, 감지거리가 길다는 장점이 있는 반면, 여러 개의 물체가 같은 지역에 있을 때 각각의 물체에 대해 구분하는 것이 어렵습니다. 그래서 고속, 장거리 장애물 검출용으로 그 목적을 제한하여 사용하기에는 매우 적합한 센서입니다.

 

또한 레이더는 단일칩을 기반으로 모듈이 제작되어, 라이다 센서에 비해 저가의 비용이 들어 1차 벤더나 2차 벤더에서 많은 연구개발 시도를 하고 있습니다. 다만 저가의 레이더 센서가 목표물 탐지를 위주로 개발되어 목표물이 사람인지, 차량인지, 트럭인지 구분하는 데는 어려움이 있습니다. 이에 대한 해결책으로 카메라와의 융합을 통해 카메라의 오탐지를 줄이고 악천후에서도 인식 능력을 높이는 형태로 사용되고 있습니다.

 

 

3. 라이다

자율주행 차량에서의 라이다

차량의 라이다

라이다(LiDAR)란 ‘Light Detection And Ranging'의 약자로, 목표물에 펄스 레이저를 쏘아 반사된 펄스를 센서로 측정하는 방식으로 목표물까지의 거리를 계산하는 장치입니다.

 

라이다의 기본 작동 과정은 레이더와 비슷합니다. 먼저 라이다 장치에서 초당 150,000 펄스의 빠른 속도로 레이저 광선을 목표면에 쏩니다. 그런 다음 라이다 장치에 달린 센서로 펄스가 반사되어 돌아올 때까지 걸린 시간을 측정합니다. 빛의 속도는 기존에 알려진 값으로 항상 일정하게 유지되기 때문에 목표물과 라이다 장치 사이의 거리를 정확하게 계산할 수 있습니다. 이 과정을 끊임없이 빠른 속도로 반복하면 라이다가 측정하려는 물체의 표면에 대한 정밀한 ‘지도’를 만들 수 있습니다. 최신 라이다 제품은 한 번 스캔에 여러 수직 펄스(채널)를 송출해 객체의 높이도 측정하는 기능을 제공합니다. 이는 노이즈 필터링이나 객체 인식과 같은 특정한 인지 알고리즘에 유용하게 쓰일 수 있습니다.

 

차량 상부에 장착된 라이다는 회전하며, 매우 짧은 주기로 레이저 펄스를 발사하고 물체에 반사되어 되돌아오는 레이저를 감지하여 3D 형태로 차량 주변의 물체를 이미지화 합니다. 일반적으로 200m의 탐색범위를 가지며, 360°를 회전하며 초당 220만 번의 탐색을 수행합니다.

 

라이다는 일반적으로 HD 지도생성, 실시간 위치 추정 및 장애물 회피에 사용됩니다. 라이다는 거리 계산을 위해 레이저 빔의 표면산란과 반사시간 측정을 통해 작동합니다. 라이다 장치에는 두 가지 문제점이 있는데 첫번째는 라이다는 매우 비싸다는 것이고 (자율주행 등급용 라이다의 비용은 8만 달러를 넘을 수 있음), 둘째는 폭우나 짙은 안개와 같은 악천후 조건에서는 정확한 측정을 제공하지 못할 수 있다는 것입니다.

 

라이다가 자율주행차에 중요한 센서로 사용됨에 따라 여러 업체들(Aerostar, Ibeo Automotive Systems, Innoviz Technologies, LeddarTech, Phantom Intelligence, TriLumina 등)이 시장에 뛰어들어 경쟁을 벌이고 있는데, 회전하지 않는 고정식 제품도 개발되고 있으며 보다 소형화되면서 약 250달러 수준으로 가격을 낮춘 제품들도 개발되고 있습니다.

 

라이다가 고가의 장비인 만큼 이 기술을 채택하지 않는 기업도 있다. 테슬라(Tesla)가 대표적인데, 라이다 대신 12개의 360도 장거리 초음파 센서 및 전방 인지 레이더 시스템, 카메라를 통한 거리 측정 및 신호와 보행자 인식 기술을 사용합니다.

 

 

4. 카메라, 레이더, 라이다

앞서 언급한 인식기술을 수행하는 카메라, 레이더, 라이더의 장단점과 범위, 활용을 정리하면 아래과 같습니다.

	카메라	레이더	라이다
원리	영상을 통해 시각적인 정보를 인지한다	전파를 이용해 물체와의 거리를 측정한다.	빛(Light)을 이용해 물체와의 거리를 측정한다.
장점	- 물체를 구분할 수 있다. - 비용이 효율적이다. - 색상을 인지할 수 있다.	- 장거리에 있는 물체와의 거리를 측정할 수 있다. - 날씨에 영향을 많이 받지 않는다. - 가려져 있는 물체를 인지할 수 있다 (투과 가능).	- 레이더에 비해 작은 물체도 감지할 수 있다. - 정확한 단색 3D 이미지를 제공할 수 있다. - 형태 인식이 가능하고 정밀도가 높다.
단점	- 물체와의 정확한 거리를 알기 어렵다. - 날씨에 영향을 많이 받는다.	- 작은 물체 식별이 어렵다. - 정밀한 이미지를 제공하지 못한다. - 물체의 종류를 판독할 수 없다. - 최대 측정 거리에 반비례하여 측정범위가 줄어든다.	- 가격이 아직 비싸다. - 레이더와 비교 시 탐지 거리가 비교적 짧고 날씨 등의 기상상황에 민감하다. - 가려져 있는 물체는 감지할 수 없다 (투과 불가능).

 

 

5. 센서 퓨전

센서 퓨전

센서 퓨전(Sensor Fusion)이란 여러 개의 센서를 하나로 결합하는 방식을 말합니다. 이는 센서와 센서를 하나로 합치는 물리적인 결합과 각각의 센서에서 얻어지는 데이터를 종합하는 두 가지 방법으로 나뉩니다. 자동차 사고는 생명과 직결되는 문제기 때문에 관련 업체들은 센서들을 중복 적용해서라도 오탐 확률을 0%까지 줄이기 위해 노력하고 있습니다.

 

업계 전문가들은 안전한 자율주행 자동차 개발을 위해 센서 퓨전 기술은 필수적으로 수반돼야 한다며, 다만 이를 위해서는 센서 퓨전 기술이 지니는 비용과 기술적인 한계성을 극복해야 한다고 강조합니다.

 

센서 퓨전은 위의 카메라, 레이더, 라이다, 초음파 등의 센서끼리 결합, 또는 다른 기타 센서들과의 결합을 말합니다. 앞에서 설명한 것처럼 센서별로 역할과 장단점이 있기 때문에 각 센서의 장점을 합칠 필요가 있습니다. 특히 자율주행은 안전이 제일 중요한 가치로 야간이나 눈비, 강한 역광 등의 인식이 어려운 조건에서도 확실한 인식이 필요하기 때문입니다. 예를 들어 안개가 심하면 카메라에서 얻는 정보가 부정확하기 때문에 라이더와 레이더 등의 정보를 통해 안전한 판단을 할 수 있도록 한다는 것입니다.

 

센서 퓨전으로 모든 문제가 해결되는 것이 아니며 차량의 비용, 외형의 크기, 중량, 소비전력이 모두 증대하기 때문에 이러한 상황들을 모두 고려해야 합니다.

 

1) 물리적인 통합

센서 퓨전 방법의 첫 번째는 센서 단위의 통합입니다. 이는 각 센서의 형태나 기능을 직접 합치는 가장 직관적인 방식의 센서 퓨전입니다. 이를 위해서는 통합된 센서의 기능과 센서 통합의 기술 등에 대한 연구가 필요하기 때문에 연구소나 기관, 기업에서는 센서 통합의 아이디어를 가진 벤처 기업 등이 주로 이에 도전합니다.

 

2) 프로세스 중심 통합

반도체 업체들이 취하는 전략입니다. 기존 보유한 기술과 솔루션을 통합해 플랫폼으로 제작합니다. NXP의 경우, 레이더, 라이다(LiDAR), 비전 센싱(Vision Sensing)과 온보드 보안 V2X 시스템을 중앙 ECU와 통합한 센서 퓨전 기술을 선보였습니다.

 

3) 소프트웨어를 통한 결합

인공지능(AI)과 소프트웨어 고도화 전략입니다. 여기에는 다양한 AI와 이를 개발하는 소프트웨어 업체들이 속해있습니다. 빅데이터와 머신러닝 등이 적용된 AI 기술(칼만 필터, 신경망, 중심 한계 정리(CLT), 베이지안 알고리즘 등 등)은 자율주행을 위한 센서 퓨전에는 필수적인 솔루션입니다. 모듈, 커넥트, 코드 등의 다양한 센서 퓨전 소프트웨어를 개발하여 센서 데이터 융합, 정확한 위치 파악, 차선 인식, 여유 공간 추정 등을 하고 있습니다.

 

4) 전방위 통합 강화 전략

주로 OEM들을 중심으로 티어1과의 결합, 또는 OEM과 티어2의 결합 등의 형태를 보입니다. OEM이 가지는 자동차에 대한 높은 이해도가 강점을 보입니다. 세계적인 완성차 업체인 다임러와 티어1 시장의 압도적인 1위 기업인 보쉬가 자율주행 개발을 위해 2017년 합작해 만든 ‘다임러-보쉬’가 대표적인 예입니다.

 

 

1. https://gctis.gntp.or.kr/upFile/multiBoard/221122_022948_1.%20%EC%9E%90%EC%9C%A8%20%EC%A3%BC%ED%96%89%20%EC%9E%90%EB%8F%99%EC%B0%A8%EC%9D%98%20%EC%9A%94%EC%86%8C%20%EA%B8%B0%EC%88%A0%20%EB%8F%99%ED%96%A5_%EA%B9%80%EC%9E%AC%EC%99%84v2.pdf

2. https://spri.kr/posts/view/21781?code=column

3. file:///C:/Users/owner/Downloads/%EC%9E%90%EC%9C%A8%EC%A3%BC%ED%96%89%EC%9E%90%EB%8F%99%EC%B0%A8%20%EA%B8%B0%EC%88%A0%EB%8F%99%ED%96%A5%20%EB%B0%8F%20%ED%95%B5%EC%8B%AC%EA%B8%B0%EC%88%A0.pdf

4. http://webzine.koita.or.kr/202011-culture/%EC%99%84%EC%A0%84%ED%95%9C-%EC%9E%90%EC%9C%A8%EC%A3%BC%ED%96%89%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%8F%84%EC%A0%84-%EC%B9%B4%EB%A9%94%EB%9D%BC%EC%99%80-%EB%9D%BC%EC%9D%B4%EB%8B%A4

5. https://www.aitimes.com/news/articleView.html?idxno=136692

6. https://www.hankyung.com/article/202201263762i

7. https://www.renishaw.com/en/optical-encoders-and-lidar-scanning--39244

8. https://www.kama.or.kr/jsp/webzine/201805/pages/report_01.jsp

9. http://www.lumisol.co.kr/sub/reference/lidar.asp?mode=view&bid=4&s_type=&s_keyword=&s_cate=&idx=161&page=1

10. https://www.epnc.co.kr/news/articleView.html?idxno=81050

11. https://www.futurebridge.com/blog/advancements-in-automotive-radars/

12. https://blogs.nvidia.com/blog/lidar-sensor-nvidia-drive/

13. https://encyclopedia.pub/entry/39976

14. https://blog.testworks.co.kr/multi_sensor_and_sensor_fusion/