09. 자율주행 인공지능

자율주행 인공지능 기술은 최근 수년간 비약적인 발전을 이루어 왔습니다. 구글 웨이모는 2009년 자율주행차 프로젝트를 시작으로, 2018년에는 미국 애리조나 피닉스에서 세계 최초의 상업용 자율주행 택시 서비스인 Waymo One을 출시하며 자율주행 기술 발전의 중요한 이정표를 세웠습니다. 테슬라는 FSD(Full-Self Driving) 베타 프로그램을 통해 완전자율주행 상용화를 목표로 삼고 있으며, 현재까지 베타 버전을 지속적으로 개선해 나가고 있습니다.

자율주행 기술은 여전히 안전성과 신뢰성 확보라는 과제를 안고 있으며, 이를 해결하기 위한 다양한 기술적 접근이 시도되고 있습니다. 이러한 과정에서 특히 인공지능 기술이 핵심적인 역할을 수행하고 있으며, 자율주행의 핵심 기능인 인지(perception), 예측(prediction), 판단(decision making) 분야에 딥러닝 기술이 적극적으로 적용되면서 전반적인 성능이 지속적으로 향상되고 있습니다. 본 글에서는 이러한 자율주행 인공지능 기술의 최근 동향을 살펴보고자 합니다.

 

본 글은 전체적인 자율주행 인공지능 기술을 다루고 있으며, 인공지능을 위한 데이터 수집에 관련한 센서에 관한 내용을 알고 싶으면 아래 링크를 참고 바랍니다.

 

03. 자율주행 환경 인식 기술 feat. 카메라, 레이더, 라이다, 센서 퓨전

 

 

1. 자율주행 인공지능 기술 개발 동향

 

1) 인지

자율주행 인공지능 기술의 인지 단계는 주변 환경을 정확하게 인식하는 것을 목표로 발전하고 있습니다. 주요 기능으로는 3D 객체 검출, 시멘틱 세그멘테이션, 신호등 인식, 동적 객체 상태 인식 등이 있습니다. 이러한 기능을 구현하기 위해 인공지능 모델은 정확도와 처리 속도를 모두 향상시키는 방향으로 지속적으로 개선되고 있습니다.

 

최근에는 단일 센서 기반 인지 기술을 넘어, 다중 센서 데이터를 융합하는 방식으로 발전하고 있습니다. 카메라, 라이다, 레이더 등 서로 다른 특성을 가진 센서 데이터를 결합하여, 악천후나 복잡한 도로 환경에서도 안정적이고 강인한 인지를 가능하게 하고 있습니다. 이는 센서 단독 운용 시 발생할 수 있는 인식 오류를 줄이고, 다양한 조건에서도 일관된 성능을 유지하기 위한 접근입니다.

 

또한 인지 모델의 경량화를 통해 실시간 처리가 가능하도록 하는 연구도 활발히 진행되고 있습니다. 자율주행 차량은 제한된 계산 자원을 가지고 있어, 경량화된 딥러닝 모델을 사용해 연산 효율을 높이고 응답 속도를 개선하는 것이 필수적입니다. 이에 따라, 신속한 정보 처리와 낮은 지연시간을 달성하는 최적화 기법들이 지속적으로 개발되고 있습니다.

 

인지 분야에서는 심층 신경망을 기반으로 한 고차원 특징 추출 기술도 중요성이 커지고 있습니다. 복잡한 주행 환경에서도 사물의 형태, 움직임, 의미를 정교하게 파악하기 위해, 다단계 특징 맵(feature map)을 활용한 구조들이 일반화되고 있으며, 이는 도심 주행 및 고속도로 주행 환경 모두에서 높은 성능을 발휘하고 있습니다.

 

2) 예측

자율주행 차량의 예측 단계는 주변 동적 객체, 특히 차량과 보행자의 미래 행동을 정확히 예측하는 것을 목표로 하고 있습니다. 예측 대상은 위치, 속도, 방향 등 다양한 요소를 포함하며, 이를 기반으로 자율주행 차량이 충돌을 피하고, 안전하고 효율적인 주행 경로를 결정할 수 있습니다.

 

예측을 위해 객체 간 상호작용을 모델링하는 GNN(Graph Neural Network) 기술이 활발히 연구되고 있으며, 복잡한 다수 객체 간 상호작용 관계를 효과적으로 반영할 수 있다는 장점이 있습니다. 또한, 시간에 따른 객체의 움직임 변화를 포착하기 위해 RNN(Recurrent Neural Network)이나 트랜스포머(Transformer) 기반 기술이 활용되고 있습니다. 트랜스포머 구조는 특히 멀티 에이전트 상황에서 장기 의존성(long-term dependency)을 학습하는 데 강점을 보이고 있습니다.

 

최근에는 카메라, 라이다, 레이더 데이터를 융합하여 3D 객체를 더욱 정밀하게 검출하고, 이를 기반으로 궤적을 예측하는 기술이 빠르게 발전하고 있습니다. 또한, 고정밀 지도(HD Map) 데이터를 추가적으로 활용하여 도로 구조, 차선 정보, 교차로 구조 등을 반영함으로써 예측의 정밀도를 높이는 연구가 진행되고 있습니다.

 

특히 복잡한 도시 환경, 비정형 교차로, 비표준 도로와 같은 어려운 상황에서도 예측 정확도를 높이기 위한 다양한 멀티모달(multimodal) 학습 기법이 적용되고 있으며, 이를 통해 예측 인공지능의 강건성과 실용성이 점차 강화되고 있습니다.

 

3) 판단

판단 단계는 자율주행 시스템이 주어진 인지와 예측 결과를 바탕으로 최적의 행동 결정을 내리는 핵심 단계입니다. 과거에는 룰 기반(rule-based) 접근법이 주류를 이루었으나, 복잡하고 예측 불가능한 실제 도로 환경에서는 모든 상황에 대해 규칙을 사전에 정의하는 것이 현실적으로 어렵다는 한계가 있었습니다.

 

이러한 한계를 극복하기 위해 최근에는 인공지능 기반 판단 기술이 활발히 도입되고 있습니다. 테슬라는 구글 딥마인드의 MCTS(Monte Carlo Tree Search) 방식을 변형하여 전문 드라이버의 주행 데이터를 학습한 Neural Planner를 개발하였습니다. 이 모델은 복잡한 주행 상황에서도 인간 수준의 행동 결정을 가능하게 하여 주행 안정성을 크게 향상시키고 있습니다.

 

웨이모 또한 2019년에 ChauffeurNet이라는 모방학습 기반 판단 인공지능 모델을 발표하였으며, 이후 강화학습 기법인 Soft Actor-Critic(SAC)과 모방학습을 결합한 BC+SAC 알고리즘을 2023년에 제안하여 주행 성공률 98%를 달성하는 성과를 이루었습니다. 이러한 방식은 단순히 과거 데이터를 재현하는 수준을 넘어서, 주어진 환경에서 최적의 행동을 스스로 선택하는 능력을 키우는 데 중점을 두고 있습니다.

 

아울러 모셔널과 웨이모는 모션 데이터셋을 공개하고 챌린지를 개최하여 관련 연구 생태계를 확장하고 있습니다. 판단 기술의 고도화는 자율주행 차량이 인간 운전자처럼 복잡한 사회적 신호와 암묵적 규칙을 이해하고 이에 맞춰 대응할 수 있도록 만드는 데 핵심적인 역할을 하고 있으며, 향후 완전 자율주행 상용화를 위해 반드시 필요한 영역으로 주목받고 있습니다.

 

 

2. 학습 데이터셋 동향

 

자율주행 기술의 핵심이 인공지능에 있는 만큼, 전 세계적으로 다양한 자율주행 인공지능 학습용 데이터셋이 공개되고 있습니다. 구글 웨이모와 모셔널이 대표적인 예로, 이들은 카메라, 라이다, 레이더, GPS/IMU 센서 데이터를 수집하고, 이를 기반으로 고품질 학습용 데이터셋을 구축하여 연구자들에게 제공하고 있습니다. 이 데이터셋들은 주석 처리 과정을 거쳐, 인공지능 모델의 성능 향상에 최적화된 형태로 제공되고 있습니다.

 

웨이모는 자율주행 인공지능 연구를 지원하기 위해 인지(perception)와 모션(motion) 부문으로 구분된 오픈 데이터셋을 공개하고 있습니다. 인지 데이터셋은 3D 객체 검출, 추적, 시멘틱 세그멘테이션 등을 위한 센서 기반 학습 데이터를 제공하며, 모션 데이터셋은 주행 경로 예측과 판단, 시뮬레이션 개발에 필요한 주행 행동 데이터를 포함하고 있습니다. 해당 데이터셋은 카메라, 라이다, 레이더 등 다양한 센서 데이터를 기반으로 고정밀 지도 정보와 함께 구축되었으며, 다양한 주행 환경과 기상 조건을 포괄하여 자율주행 인공지능 모델의 현실 적용성을 높이는 데 기여하고 있습니다.

 

웨이모는 2019년에 인지 데이터셋을 처음 공개한 이후, 2021년에 모션 데이터셋을 추가로 공개하였으며, 2023년에는 v2 인지 데이터셋과 v1.2 모션 데이터셋을 업데이트하여 데이터 품질과 범위를 확장하였습니다. 또한, 오픈 데이터셋을 활용한 2D/3D 객체 검출, 궤적 예측, 시뮬레이션 에이전트 개발 챌린지를 매년 개최하여, 실세계 데이터를 기반으로 한 최신 인공지능 기술 개발과 평가를 적극 지원하고 있습니다. 웨이모는 향후 에이전트 궤적 예측, 자율주행 판단, 지능형 시뮬레이션 연구를 위한 데이터셋 고도화에 지속적으로 집중할 계획입니다.

 

모셔널은 이전의 nuTonomy 시절부터 인지와 플래닝을 위한 다양한 데이터셋을 공개하고 있습니다. 인지 부문에서는 2019년에 nuScenes 데이터셋을 공개하여, 보스턴과 싱가포르 등 복잡한 도심 환경에서 수집한 카메라, 라이다 기반의 센서 데이터를 제공하고 있습니다. 이 데이터셋은 동적 객체의 3D 바운딩 박스, 궤적 추적 정보, 라이다 기반 시멘틱 세그멘테이션 데이터 등을 포함하여 자율주행 인공지능 학습에 활용되고 있습니다.

 

플래닝 부문에서는 최근 nuPlan 데이터셋을 추가로 공개하여, 싱가포르, 라스베이거스, 보스턴, 피츠버그 등 네 개 도시에서 수집한 약 1,500시간 분량의 주행 데이터를 제공하고 있습니다. nuPlan 데이터셋은 시멘틱 지도 정보, 객체 상태, 신호등 정보, 주행 시나리오 구분 등 다양한 레이블링 정보를 포함하고 있으며, 혼잡한 도심 환경에서도 빠르고 안전한 주행 판단을 가능하게 하기 위해 구축되었습니다. 기존 연구에서 제공되었던 410시간 분량 데이터셋보다 세 배 이상 많은 데이터가 제공되어, 모방학습 및 강화학습 기반 경로 계획 연구를 위한 주요 레퍼런스 자료로 자리 잡고 있습니다.

 

아르고버스(Argoverse) 데이터셋도 자율주행 인공지능 연구에 널리 활용되고 있습니다. 이 데이터셋은 라이다, 카메라 센서 데이터뿐만 아니라, 고정밀 지도 정보와 3D 바운딩 박스, 객체 궤적 데이터 등을 포함하고 있어 멀티모달 연구에 적합합니다. 다양한 주행 시나리오를 포괄하고 있으며, 객체 탐지, 추적, 행동 예측, 경로 계획, 시뮬레이션 등 자율주행의 여러 분야에 적용되고 있습니다. 특히 경로 계획과 행동 예측을 위한 고정밀 지도 정보가 포함되어 있어 연구자들이 복잡한 도로 환경을 효과적으로 모델링할 수 있도록 지원하고 있습니다.

 

국내에서도 자율주행 인공지능 기술 개발을 위한 학습 데이터셋 구축이 활발히 진행되고 있습니다. 과학기술정보통신부의 자율주행기술개발혁신사업을 통해 2023년에 3D 객체 검출 및 추적, 시멘틱 세그멘테이션, 경로 예측, 신호등 인식, 차량 상태 인식, 인프라 객체 검출 및 추적 등 총 17종, 1,200GB 규모의 데이터셋이 공개되었습니다. 해당 데이터는 국가공공데이터포털과 ETRI AI 나눔 플랫폼을 통해 제공되고 있으며, 국내 연구자와 기업들의 자율주행 기술 개발을 지원하고 있습니다.

 

추가로, 카카오모빌리티는 2025년 2월, 과학기술정보통신부와 자율주행기술개발혁신사업단의 지원을 받아 '융합형 자율주행 인공지능 학습 데이터셋'을 공개하였습니다. 이 데이터셋은 차량, 엣지 인프라, 지능 학습을 연계하여 수집된 데이터로 구성되어 있으며, 데이터 생성부터 관리, 배포까지의 과정을 자동화하는 기술을 적용하여 구축되었습니다. 공개된 데이터는 한국전자통신연구원(ETRI)의 공공포털을 통해 제공되고 있어, 국내 자율주행 인공지능 연구 생태계 조성에 기여하고 있습니다.

또한 경기도 판교제로시티에서는 국내 최초 자율주행 실증단지를 기반으로 다양한 실환경 데이터를 수집하고 있습니다. 해당 데이터셋은 라이다, 카메라, GPS/INS 센서 데이터를 포함하여, 일반 차량과 자율주행 차량이 혼재하는 실제 도로 환경에서 수집되었습니다. 여기에 더해, 도로 인프라에 설치된 CCTV, 신호 제어기, 보행자 검지기 등을 통해 얻은 실시간 데이터까지 포함되어 있으며, 이는 다양한 주행 시나리오를 반영하는 고품질 학습 자료로 활용되고 있습니다.

이처럼 국내에서는 다양한 자율주행 인공지능 학습용 데이터셋이 구축되고 있으며, 이를 기반으로 한 연구개발이 활발히 이루어지고 있습니다. 앞으로도 이러한 데이터셋의 확장과 활용을 통해 국내 자율주행 기술의 경쟁력 강화가 기대되고 있습니다.

 

 

 

1. https://www.cloudfactory.com/blog/active-learning-and-autonomous-vehicles

2. https://www.itfind.or.kr/WZIN/jugidong/2163/file6309050955194400372-2163(2025.02.12)-03.pdf

3. https://www.autoelectronics.co.kr/article/articleView.asp?idx=2114

4. https://www.playsw.or.kr/artificial/textbook/detail/30

5. https://spri.kr/posts/view/21781?code=column

6. Kim, S., et al. (2022). Trends and development directions of autonomous driving technology: Focused on AI. Transactions of KSAE, 30(10), 819-830. https://doi.org/10.7467/KSAE.2022.30.10.819