近日,德國專業汽車行業雜志HANSERautomotive就浪潮信息算法團隊在自動駕駛領域所取得的核心突破,進行專題署名文章報道“Wahrnehmungssysteme und 3D-Objekterkennung Alles im Blick”(《感知系統和三維物體識別,一切盡收眼底》)。針對AI感知技術對于自動駕駛產業化落地的變革式意義,《HANSERautomotive》文章指出,“3D目標檢測作為自動駕駛領域至關重要的核心任務,面向強大的環境感知,先進的AI算法及融合架構感知技術,為實現高魯棒、高精度的目標檢測提供了至關重要的信息輸入,平臺算力和感知算法的效率提升與創新突破,也成為了車企發展自動駕駛能力的關鍵技術。”
目前,在全球權威的自動駕駛nuScenes競賽最新評測中,浪潮信息算法團隊所提交的“IEI-BEVFusion++”算法模型在關鍵性指標nuScenes Detection Score(NDS)得到77.6%的高分,創造了3D目標檢測全賽道迄今最高成績。
【資料圖】
【HANSERautomotive作為德國Top級汽車電子行業媒體,旨在持續賦能汽車電子開發、項目、應用和測試領域的工程師,為全球汽車領域的行業高管與最重要的利益相關者,提供產品、系統、趨勢和時事,在電信/數據通信、消費和工業等行業領域做出更好的決策。】
●附《HANSERautomotive》詳細報道(原文譯釋):
自動駕駛將從頭開始改變移動行業,是汽車制造商和人工智能公司關注的重點領域。自動駕駛技術的核心是基于算法的 3D 物體識別,它被認為是自動駕駛汽車環境感知的核心。至關重要的是,車輛使用各種傳感器來估計其環境中人、車輛和物體在三維空間中的距離。以下文章解釋了不同傳感器的工作原理以及它們之間的交互方式。
自動駕駛核心感知任務——3D目標檢測
從自動駕駛分類來看,目前的自動駕駛技術有兩大類。一種是以直接達到Level 4(高度駕駛自動化)為目標的激進派,另一種是從Level 2(輔助駕駛)逐步提升自動駕駛等級的漸進派。但無論是Level 2還是Level 4,從整體架構來看,大致可以分為感知、決策和控制三個部分。感知是自動駕駛汽車的眼睛,猶如人類的眼睛為大腦提供 70% 以上的信息類似,感知系統也為自動駕駛汽車的外部環境提供信息。自動駕駛的感知依賴于各種傳感器的信息,包括攝像頭、雷達、激光雷達等,其中最核心的就是相機和激光雷達。
自動駕駛面對的是一個3維的環境空間,甚至我們可以這么說,因為自動駕駛車輛要在環境空間中移動,且環境空間中其他的行人、車輛也會移動,可見自動駕駛面臨的是一個4D時空系統(3D空間+1D時間)。自動駕駛汽車需要在三維空間中判斷周圍人、車、物之間的距離。在此基礎上,還需要判斷它們是靜態的還是動態的,以及移動的方向和速度等信息,我們一般稱之為3D目標檢測任務。 3D物體檢測任務可以看作是自動駕駛中的最核心感知任務。當然,除此之外,其他感知任務還包括識別紅綠燈、交通標志、車道、斑馬線等道路信息。
(圖注:3D 目標檢測圖。 3D目標定義為一個盒子,(x,y,z)為盒子的中心坐標,(l,w,h)為長寬高,θ為航向角。 Class 是 3D 目標的類別。 Vx 和 vy 描述了地面上 3D 目標沿 x 和 y 軸的速度。)
傳感器:激光雷達
長期以來,激光雷達一直被認為是自動駕駛汽車不可或缺的部件之一,因為激光雷達可以提供車輛周圍環境最準確的3D感知。激光雷達采集到的點云信息天然就存儲著3D空間信息,因此對于基于點云信息的3D目標檢測來說,算法設計就簡單很多,也誕生了一系列的經典模型,如PointPillar、SECOND、SSSD等。然而,激光雷達的成本也成為了自動駕駛落地的最大瓶頸,激光雷達比汽車貴的問題,成為其上車和量產的最大障礙。雖然這些年激光雷達的價格隨著技術的進步有了明顯的下降,但是能夠滿足L4需求的激光雷達的價格還是偏高。
傳感器:相機
攝像頭是自動駕駛汽車的另一個非常重要的傳感器。由于激光雷達采集的點云信息沒有顏色和紋理,無法識別紅綠燈、交通標志、車道、斑馬線等人類容易識別的道路信息。因此,仍然需要攝像頭作為輔助傳感器。但是,這會導致多模態的信息融合問題。簡而言之,激光雷達主要擅長對車輛和行人的3D信息的感知,而攝像頭擅長于對紅綠燈、車道線等具有豐富視覺紋理特征的信息的感知。此外,相機在量產成本和價格方面也具有無可比擬的優勢。例如,特斯拉搭載的單個單目攝像頭成本僅為25美元,整車8個攝像頭的價格僅為200美元。僅使用相機傳感器,借助強大的人工智能算法, 可以實現精確的3D物體檢測任務,這意味著不使用激光雷達傳感器的自動駕駛成為可能。
基于圖像的3D目標檢測算法
在計算機視覺領域,近年來涌現了大量的分類、檢測、分割模型,如ResNet、YOLO、Mask RCNN等,這些AI模型已廣泛應用于安防、交通、和自動駕駛。然而,核心問題之一是這些模型是為 2D 圖像設計的,不能直接應用于 3D 對象檢測任務。基于圖像的3D物體檢測的核心問題是如何準確估計圖像中物體的深度。由于相機拍攝的照片和視頻將3D空間投影到2D平面,丟失了深度信息,如何恢復深度信息是一個“病態問題”。也就是說,問題的解決方案可能不是唯一的。因此,長期以來,基于圖像的3D目標檢測算法的性能一直遠低于基于激光雷達的3D目標檢測算法。
自從特斯拉僅使用攝像頭的FSD駕駛系統取得了一定的成功后,基于視覺的自動駕駛感知方案就越來越受到業界的關注。同時,隨著數據、算法、算力等方面的進步,純視覺自動駕駛感知方案在3D目標檢測任務中的性能較去年的激光雷達有明顯提升。
NuScenes 數據集
自動駕駛數據集的出現時間更長,傳感器更多,采集時間更長。 NuScenes 數據集由 Motive 于 2019 年開發并發布,采集于波士頓和新加坡街頭。為了獲取有意義的場景數據,我們收集了大約 15 小時的駕駛數據,并精心選擇了涵蓋不同場景的駕駛路線。采集車搭載傳感器,包括6個攝像頭、1個激光雷達、5個毫米波雷達、GPS、IMU,具有360°視場感知。
(圖注:安裝在 NuScenes 數據集采集車上的傳感器放置位置圖。它配備了6個攝像頭、1個激光雷達和5個毫米波雷達。)
NuScenes 數據集提供了幾個評估任務,包括 3D 對象檢測、3D 對象跟蹤、預測軌跡、激光雷達分割、全景分割和跟蹤。 3D 物體檢測任務的目標是檢測 NuScenes 數據集中的 10 種不同類型的檢測物體,包括汽車、卡車、自行車和行人。檢測信息除了物體的三維位置外,還包括物體的大小、方向和速度。 NuScenes提出了一個綜合的NDS指標,即NuScenes Detection Score(NDS),它由平均準確度(mAP)、平均平移誤差(ATE)、平均尺度誤差(ASE)、平均方向誤差(AOE)、平均速度誤差組成(AVE) 和平均屬性誤差 (AAE)。
(圖注:NuScenes 數據集中六個攝像頭采集的圖像示意圖。)
除了NuScenes,業界還有Waymo、ONCE等開源數據集。然而,NuScenes 是目前使用最多的數據集。自發布以來,NuScenes 數據集已被 2000 多篇研究論文引用。 NuScenes Challenge也成為測試感知算法在自動駕駛相關任務中表現的試金石。它吸引了來自世界各地的研究團隊提交的 220 多份論文。近期,PhiGent Robotics、縱目科技、ECARX等車企的研發團隊也出現在了NuScenes的名單中。
‘
NuScenes提供了一個常年更新的榜單,目前一共有50余次提交,其中大多數的提交發生在2022年。目前全榜單排名第一的則是浪潮信息算法團隊所提交的“IEI-BEVFusion++”算法模型,關鍵性指標nuScenes Detection Score(NDS)0.776的高分,創造了3D目標檢測全賽道迄今最高成績。
另外,在純視覺賽道,算法團隊在2022年所提交的“DABNet4D”模型,綜合檢測精度NDS 0.624的檢測效果也一舉登頂屆時該賽道的榜首。相比之下,2022年初排名第一的BEV3D算法的NDS精度是0.474,也就是說在不到一年的時間內,NuScenes 純視覺3D目標檢測的NDS指標提升了15個點。基于純視覺算法和激光雷達算法的精度差距也從年初的45%縮小到17%,而這些,均得益于純視覺3D檢測算法優化帶來的性能提升。
展望未來
在自動駕駛落地的產業化進程中,感知技術作為自動駕駛的核心技術模塊,既是起點也是基石。而未來,面向自動駕駛感知算法的研發,也將會投入更為強大的人工智能計算平臺予以支撐。從NuScenes榜單技術的快速迭代來看,我們有理由相信,隨著算力、算法的持續型突破,自動駕駛產業化落地進程也將多一層“騰飛動力之源”。
標簽：
