CPU·GPU서 NPU로 확장하는 '첨단 운전자 보조 시스템(ADAS)' 시장

[IT동아 남시현 기자] 인공지능 반도체(이하 AI 반도체)가 첨단 운전자 보조 시스템(Advanced Driver Assistance System, 이하 ADAS) 시장의 발전을 견인하고 있다. ADAS는 1970년대 잠금 방지 브레이킹 시스템, 전자 안정 제어 및 사각지대 정보 등으로 시작했고, 2000년대에는 차간 거리 보조 기능 및 어댑티브 크루즈 컨트롤 등으로 발전한다. 현대적인 ADAS는 2008년 볼보가 처음 선보인 시티 세이프티 기능을 시작으로 보며, 이를 기점으로 운전 자동화, 그리고 자율주행 자동차의 단계로 발전하고 있다.

2010년대가 ADAS의 과도기였다면, 2020년 이후부터는 본격적인 경쟁 시기다. 2008년 볼보의 시티 세이프티로 시장 가능성이 확인되자 다른 완성차 브랜드들 역시 ADAS 장착에 동참한다. 이어서 2011년, 유럽의 차량용 안전 등급 프로그램인 유로 NCAP에서 ADAS 탑재 차량에 등급 가점을 주기 시작하며 전체 완성차로 대상 범위가 넓어지기 시작했다. 2010년 대 중반부터 대다수 차량에 어댑티브 크루즈 컨트롤, 차선 인식 주행, 긴급 제동 장치가 적용되기 시작한 것도 안전 등급 개편의 영향이 크다.

알고리즘 기반인 초창기 ADAS, 자율주행 등급제로 AI 도입

2010년 초 ADAS는 지금에 비하면 기초적이다. 차선 이탈 경고나 기본적인 충돌 방지 기능 적용을 위해 카메라, 레이더 등을 활용하고, 비교적 간단한 알고리즘 기반이어서 범용 프로세서나 저성능 칩으로도 문제가 없었다. 한편 스마트폰용 3D 그래픽 기술이 발전하고, 이를 처리하는 애플리케이션 프로세서 기술도 함께 발전하며 자동차 시장에도 직간접적으로 영향을 미친다.

초기 ADAS는 Arm 코텍스(Cortex)-M4 및 코텍스-A15를 탑재한 텍사스 인스트루먼트의 TDA3x 및 TDA2x 등의 시스템 온 칩 형태가 주류였다. 이 제품들은 산업용으로써 신뢰성을 갖췄고, 당시 기초적인 ADAS 제어 및 관리 측면으로 투입하기에는 적절했다. 하지만 비전인식을 비롯한 AI 기능이 요구되고, 연산 처리량이 비약적으로 늘어나며 고연산 처리에 대응하는 모빌아이의 EyeQ, 엔비디아의 드라이브 PX 등이 대안으로 떠오른다.

모빌아이는 시스템 온 칩 내에 CPU와 LPDDR 메모리, 컴퓨터 비전 프로세서 등을 집약해 기존 ADAS는 물론 자율주행용 기술에도 대응을 시작했고, 2016년까지 테슬라의 오토 파일럿 시스템에도 사용됐다. 엔비디아 역시 2016년 세계 최초의 차량용 AI 슈퍼컴퓨터인 드라이브 PX2를 출시했으며, 당시로서는 생소한 개념인 딥러닝을 통해 자율주행 인식률을 향상할 수 있다고 강조했다. 이 제품은 볼보, 아우디, 테슬라 차량의 자율주행 기능 등에 투입됐다.

이러한 가운데 2013년 미국 연방도로교통안전청, 유럽 독일 연방도로공단 및 독일자동차협회가 자율주행 단계 및 기능적 정의를 명시했고, 2014년 세계 자동차공학회가 자율주행 레벨 초안 발간 및 2016년 9월 수정안 등을 발간하며 ADAS용 AI 반도체 시장이 개막된다. 차량의 자율주행이 여섯 단계로 등급화하며 관련 기술 개발과 고성능 AI 반도체 도입이 탄력을 받는다.

높아지는 연산 처리, CPU와 GPU 이어 NPU도 등장

신경망 처리 장치(NPU)가 ADAS에 도입되기 시작한 것은 레벨 2 부분자동화 차량들이 등장하면서부터다. 2017년을 전후로 레벨 2 시기에 접어들며 ADAS 반도체가 필요한 데이터 처리량도 크게 늘어났다. 업계에서는 차선 중앙 유지, 정차 및 재출발을 포함한 크루즈 컨트롤, 자율적인 도로 반응형 AI 알고리즘 등이 포함되는 레벨 2 자율주행도 10TOPS(초당 1초 회 연산, 초당 10조 회), 특정 구간에서 완전 자율주행하는 레벨 4는 100TOPS(초당 100조 회), 완전 자율주행인 레벨 5는 1000 TOPS(초당 1000조 회)가 필요할 것으로 예측한다.

레벨이 오를수록 연산 처리양이 비약적으로 늘다 보니, 이를 효율적으로 처리할 목적으로 신경망 처리 장치(NPU)가 도입되기 시작했다. 앞서 텍사스인스트루먼트 TDA3x도 임베디드 비전 엔진이라는 이름의 비전 처리 가속기를 탑재했지만, 본격적인 NPU는 모빌아이 EyeQ3에 탑재된 XNN 딥러닝 가속기로 본다. 2018년 이후로는 삼성전자의 엑시노스 오토 V9, CEVA의 뉴프로-S(NeuPro-M), 케이던스의 네오 NPU 등 성능 중심의 NPU 등이 등장하며 ADAS 성능 경쟁이 시작된다.

NPU가 도입되는 이유는 전력 소모 및 처리 성능 때문이다. GPU는 범용 연산에 적절하지만, 자율주행용 AI 모델을 실행할 때 소비전력이 높고 지연 시간이 NPU 대비 길다. Arm 계열 프로세서는 전력 소모대 성능비는 우수하나, 성능에 대한 제약, 그리고 특화된 프로그래밍과 AI 연산용 명령에 한계가 있다. 이에 반해 NPU는 이미지 인식 및 객체 감지 처리에 최적화된 구조고, 비슷한 소모전력 및 공정 수준이라면 GPU보다 훨씬 더 효율적이고 빠르게 처리한다.

차량용 ADAS, 이미 통합 협력하는 방향으로 발전 중

2020년 이후 ADSD은 카메라와 레이더, 라이다, 초음파 센서를 혼합해서 다루는 센서퓨전 방식으로 주행 데이터를 생성하고, 각 센서별로 CPU, GPU, NPU가 최적화된 연산으로 처리한다. 최근에는 차량용 디스플레이 및 서비스인 인포테인먼트 역량도 수행한다. 이 전반에 들어가는 CPU, GPU, NPU는 물론 각각의 센서와 디스플레이, 인포테인먼트까지 제조사가 다르다 보니, 완성차 업계와 공급 업체, 반도체 기업과의 협력 사례는 갈수록 늘고 있다.

지난 13일 국내 ADAS용 NPU 제조 전문 기업 보스반도체는 유럽의 자동차 기업과 차세대 자율 주행 시스템을 위한 칩렛 반도체 계약을 체결했다. 보스반도체의 차량용 칩렛 AI 가속기 이글-N, 독립형 ADAS 반도체인 이글-A를 ADAS용 칩렛 형태로 설계하고, 향후 차량 시스템 검증, 소프트웨어 최적화 작업 등을 함께한다.

이글-N은 텐스토렌트의 텐식스 NPU와 Arm 코텍스-A53을 탑재해 250TOPS의 성능을 내며, ADAS 및 차량용 인포테인먼트 기능을 동시에 수행한다. 이글-A는 2028년 양산이 목표인 독립형 ADAS 반도체로, 카메라, 라이다, 레이더 통합 센싱과 CPU, GPU, NPU까지 모두 갖춘다. 보스반도체는 이글-A와 N을 조합한 칩렛으로 레벨 3를, 이글-A 및 2개의 이글-N을 결합해 레벨 4 자율주행 등을 지원할 예정이다.

칩렛, 라이센싱, 통합 브랜딩 등등 ‘연합’ 전략이 기본 돼

보스반도체처럼 여러 칩셋을 합쳐서 내놓는 칩렛 방식은 앞으로 더욱 대중화될 전망이다. 칩렛으로 제조하면 전문 제조사의 고성능 칩을 쉽게 도입할 수 있고, 높은 성능이 필요하지 않은 칩은 낮은 단가의 칩으로 조합해 경제성을 확보할 수 있다. 또 단일 칩으로 제조하는 경우만큼 손실도 크지 않다. 업계에서는 칩렛 방식 말고도 기술 공유나 라이선스 제공 등 다양한 방식으로 ADAS 시장 공략을 위해 협력하는 상황이다.

지난해 10월, 덴소와 콰드릭(Quadric)도 키메라 GPNPU에 대한 라이선스 계약을 맺었고, CEVA 역시 오리텍(Oritek)에 센스프로 비전 AI용 라이선스를 제공해 중국 시장 공략에 나섰다. 엔비디아도 드라이브 AGX를 활용해 토요타, 오로라, 콘티넨탈 등에 기술을 제공 중이며, 퀄컴 역시 보쉬와 손을 잡고 인포테인먼트, ADAS 원칩 솔루션을 공개한 바 있다.

단일 제조사가 차량을 만드는 시대는 진작에 끝났다. 차량의 전동화가 진행될수록 CPU와 GPU, NPU, 여기에 들어가는 AI와 자율주행 기술, 소프트웨어, 차량 제어, 인포테인먼트, 차량 제조까지 전방위로 다뤄야 한다. 그중에서도 NPU는 비전 인식 처리 등을 통해 자율주행을 보편화할 열쇠고, 이를 둘러싼 협력 방안은 앞으로 반도체 동맹의 핵심이 될 것이다. 보스반도체와 텐스토렌트의 사례처럼 국가와 경계를 넘어선 협력으로 시장을 공략하는 현상은 더욱 보편화할 것이다.

IT동아 남시현 기자 (sh@itdonga.com)