3D目標(biāo)檢測是感知系統(tǒng)的關(guān)鍵組成部分，3D目標(biāo)檢測器的性能將對跟蹤、預(yù)測和規(guī)劃等下游任務(wù)產(chǎn)生深遠(yuǎn)影響。因此，從系統(tǒng)的角度來看，3D目標(biāo)檢測模型與其他感知任務(wù)以及下游任務(wù)聯(lián)合訓(xùn)練，將是更好的自動駕駛解決方案。
一個挑戰(zhàn)是如何將所有駕駛?cè)蝿?wù)包含在一個統(tǒng)一框架中，并以端到端的方式聯(lián)合訓(xùn)練這些任務(wù)。
聯(lián)合感知和預(yù)測。很多方法通過感知和跟蹤3D目標(biāo)，然后以端到端的方式預(yù)測它們的未來軌跡。FaF[160]是一項(xiàng)開創(chuàng)性工作，它提出使用單個3D卷積聯(lián)合預(yù)測3D目標(biāo)檢測、跟蹤和軌跡預(yù)測。
這種設(shè)計范式被許多論文改進(jìn)，例如[21]利用地圖信息，[125]引入交互式 Transformer，[350]設(shè)計時空交互式網(wǎng)絡(luò)，[298]提出時空金字塔網(wǎng)絡(luò)，[138]循環(huán)執(zhí)行所有任務(wù)，[204]涉及將定位任務(wù)引入系統(tǒng)。
聯(lián)合感知、預(yù)測和規(guī)劃。很多工作努力將感知、預(yù)測和規(guī)劃納入一個統(tǒng)一的框架。與聯(lián)合感知和預(yù)測方法相比，整個系統(tǒng)可以通過將運(yùn)動規(guī)劃添加到端到端流程中，并從規(guī)劃反饋信息中得到收益。
很多方法提出來改善這個框架，例如[229]引入語義占用圖以產(chǎn)生可解釋的中間表示，[290]將空間注意力納入框架，[341]提出深度結(jié)構(gòu)化網(wǎng)絡(luò)，[22]提出無地圖方法，[53] 產(chǎn)生一組不同的未來軌跡。
一個完整的端到端自動駕駛系統(tǒng)應(yīng)該是這樣子的：自動駕駛車輛接受傳感器輸入，在一個循環(huán)中依次執(zhí)行感知、預(yù)測、規(guī)劃和運(yùn)動控制，最終給駕駛系統(tǒng)提供轉(zhuǎn)向和速度信號。
[12]首先介紹了這個想法，并用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了基于圖像的端到端驅(qū)動系統(tǒng)。[302]提出了一種具有多模式輸入的端到端架構(gòu)。[51]和[106]提出分別通過條件模仿學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)來學(xué)習(xí)端到端自動駕駛系統(tǒng)。具體的端到端的自動駕駛示意如下圖所示。

3D目標(biāo)檢測模型通常需要大量數(shù)據(jù)進(jìn)行訓(xùn)練。雖然可以在現(xiàn)實(shí)世界場景中收集數(shù)據(jù)，但現(xiàn)實(shí)世界的數(shù)據(jù)通常會受到長尾分布的影響。

例如，交通事故或極端天氣的場景很少被采集到，但對于訓(xùn)練強(qiáng)大的3D目標(biāo)檢測器非常重要。模擬仿真是解決長尾數(shù)據(jù)分布問題的一種很有前途的方案，因?yàn)槲覀兛梢詾槟切┖币姷P(guān)鍵的場景創(chuàng)建人造數(shù)據(jù)。模擬的一個公開挑戰(zhàn)是如何創(chuàng)建更真實(shí)的人造數(shù)據(jù)。視覺模擬。很多方法在駕駛場景中生成逼真的合成圖像。這些方法的想法包括利用圖形引擎[1, 226]、利用紋理映射面元[320]、利用真實(shí)世界數(shù)據(jù)[47]和學(xué)習(xí)可控神經(jīng)模擬器[108]。
激光雷達(dá)模擬。除了生成合成圖像，許多方法試圖通過模擬生成LiDAR點(diǎn)云。一些方法[69, 188, 71]通過模擬現(xiàn)實(shí)世界的效果提出了新穎的點(diǎn)云渲染機(jī)制。一些方法[169]利用真實(shí)世界的實(shí)例來重建3D場景。其他論文側(cè)重于安全關(guān)鍵場景[267]或惡劣天氣條件下[89]的模擬。
駕駛模擬。許多論文試圖建立一個交互式駕駛模擬平臺，虛擬車輛可以在其中感知虛擬環(huán)境并與虛擬環(huán)境交互，最終規(guī)劃車輛路徑。CARLA[61]是一個開創(chuàng)性的自動駕駛開源模擬器。
其他論文利用圖形引擎[232]或開發(fā)數(shù)據(jù)驅(qū)動方法[4]進(jìn)行駕駛模擬。還有一些工作模擬交通流[253、252]或通過模擬測試車輛的安全性[296]。

基于學(xué)習(xí)的3D的目標(biāo)檢測方法容易受到攻擊，比如給傳感器輸入中添加一些噪聲或目標(biāo)，就可能造成3D目標(biāo)檢測器失效，造成漏檢，如何更好的防御攻擊是個問題。

許多論文提出通過對抗性機(jī)器學(xué)習(xí)攻擊傳感器并欺騙目標(biāo)檢測器。這些方法針對不同的目標(biāo)，例如LiDAR檢測器[18, 294, 257, 248, 366]，多模態(tài)檢測器[19, 259]，協(xié)作感知模型[258]，車輛軌跡[130] 等。
他們提出了不同的技術(shù)來欺騙檢測器，包括在道路上添加對抗性障礙物[18]、在車輛上放置真實(shí)的樣本[294]、在對抗性位置放置任意目標(biāo)[366]、利用對抗性紋理網(wǎng)格[259]、放棄臨界值[294]，和利用被遮擋的點(diǎn)云模式[248]等。

現(xiàn)有的3D目標(biāo)檢測方法主要基于本車單車，但是只用單車會造成無法解決目標(biāo)遮擋和遠(yuǎn)處目標(biāo)的稀疏性問題。于是很多研究提出，利用多車協(xié)同方案。
本車與其它車或基礎(chǔ)設(shè)施進(jìn)行通信，根據(jù)其它代理（車或基礎(chǔ)設(shè)施）反饋的信息提高感知精度。協(xié)同感知的一個挑戰(zhàn)是如何適當(dāng)?shù)仄胶饩忍岣吆屯ㄐ艓捯?。協(xié)同3D目標(biāo)檢測方法融合來自多個代理的信息以提高3D目標(biāo)檢測器的性能。
融合的信息可以是來自其他代理的原始輸入[33, 345]，其通信帶寬消耗很小，并且對于檢測非常有效，也可以是壓縮的特征圖 [32, 276, 260, 129]，其通信帶寬成本不可忽略，但檢測效果通常會更好。還有一些論文研究何時與其他代理通信[150]以及與哪個代理通信[151]。

3D目標(biāo)檢測的評價指標(biāo)從原來的2D的AP已經(jīng)逐漸變?yōu)锳P-3D和AP-BEV，更好的衡量3D檢測效果?；贚iDAR的方法在數(shù)據(jù)集的選擇上也從KITTI逐漸變?yōu)楦蠛透鄻拥膎uScenes和WaymoOpen數(shù)據(jù)集。部署依然很難，因?yàn)楹芏喾椒榱颂岣咝阅?，并沒有太在乎推理時間，造成實(shí)時性較差。
目前來看，基于LiDAR的方法中，基于體素和點(diǎn)體素的方法性能有較大提升?；谥w的方法運(yùn)行快，效率高，但性能比基于體素的差?；赗ange和BEV的方法不錯，推理時間也可以接受?；邳c(diǎn)的檢測器效果好，但是推理速度受采樣和處理算子的影響較大。
基于相機(jī)的3D目標(biāo)檢測方法中，雙目比單目好，多相機(jī)的研究也是前景廣泛。多模態(tài)比單模態(tài)效果好，但引入了額外的計算開銷，前融合方法更嚴(yán)重?，F(xiàn)在很多方法只用了前視圖和對應(yīng)點(diǎn)云進(jìn)行融合，而在nuScenes上提供了多視圖圖像、點(diǎn)云和高精地圖，模型可以得到更好的結(jié)果。
從系統(tǒng)級別來看，以速度和精度為主導(dǎo)因素，則基于LiDAR和多模態(tài)的方法是最佳解決方案；如果以成本為最重要因素，那么基于相機(jī)的方法可能是最佳選擇。

數(shù)據(jù)集不能只用閉集，類別只有那些常見的目標(biāo)（機(jī)非人等），后續(xù)也應(yīng)該關(guān)注一些現(xiàn)實(shí)世界中稀有類及未標(biāo)注的類別，開放世界目標(biāo)檢測值得關(guān)注。
3D目標(biāo)檢測的可解釋性研究。深度學(xué)習(xí)作為黑盒，可解釋性較差，但為了更加穩(wěn)健的使用3D目標(biāo)檢測器，并知道如何避免一些意外情況，需要理解和解釋現(xiàn)有3D目標(biāo)檢測器的一些行為。
硬件系統(tǒng)的優(yōu)化設(shè)計同樣重要，如何讓基于LiDAR和多模態(tài)的檢測器高效的在移動端硬件上跑起來，需要設(shè)計新的硬件架構(gòu)來方便模型部署。
端到端的3D目標(biāo)檢測算法未來是個趨勢，畢竟單獨(dú)去優(yōu)化3D目標(biāo)檢測器，對下游任務(wù)（預(yù)測和規(guī)劃）不一定是最優(yōu)的。
下面的表是一個匯總。

本文全面回顧和分析了自動駕駛3D目標(biāo)檢測的各個方面。從3D目標(biāo)檢測的問題定義、數(shù)據(jù)集和評估指標(biāo)開始，然后介紹了基于各種傳感器的3D目標(biāo)檢測方法，包括基于LiDAR、基于相機(jī)和多模態(tài)3D目標(biāo)檢測方法。進(jìn)一步研究了利用時態(tài)數(shù)據(jù)的3D目標(biāo)檢測，具有標(biāo)簽高效的學(xué)習(xí)，以及它在自動駕駛系統(tǒng)中的應(yīng)用。最后，總結(jié)了近年來的研究趨勢，展望了未來3D目標(biāo)檢測的研究方向。

[1] Mao, J., Shi, S., Wang, X., & Li, H. (2022). 3D Object Detection for Autonomous Driving: A Review and New Outlooks.ArXiv, abs/2206.09474.