3D目標檢測的學習目標主要是針對小目標（相比檢測范圍，目標太?。?，另一方面是由于點云的稀疏性，如何準確估計其目標的中心和尺寸也是一個長期挑戰(zhàn)。

anchor是預定義的長方體，具有固定的形狀，可以放置在3D空間中。3D目標可以基于正anchor進行預測，這些正anchor與GT的IoU最大。anchor-based的3D目標檢測方法一般是從鳥瞰圖上檢測3D目標，將3D anchor放置在BEV特征圖的每個網格單元上進行。3D anchor通常對于每個類別都有一個固定的尺寸，因為同一類別的目標有相似的大小。
anchor-based的損失函數包括了分類損失、回歸損失、偏航角損失等。分類損失常用的是二值交叉熵、Focal loss，回歸則是SmoothL1，航向角需要注意使用bin-based航向估計較好。除了這些單獨的損失函數外，將整個3D目標作為整體去考慮，也有使用IoU loss的，再輔以corner loss，讓3D目標的檢測更加穩(wěn)定。
下面是anchor-based方法的示意圖和主要目標損失函數：

anchor-free方法去掉了復雜的anchor設計階段，可靈活應用于BEV、點視圖和Range視圖等。沒有了anchor，就需要找其它正負樣本分配方法。比如基于一些網格（BEV網格單元、體素、柱體）進行分配正負樣本，比如PIXOR、CenterPoint等。

還有基于點的分配策略，大部分都是先將前景點分割出來，在3D目標內或附近的作為正樣本，并學習這些前景點?；赗ange的分配主要是將Range像素在3D目標內的作為正樣本，并且回歸的時候不是以整個3D坐標系統(tǒng)為基礎，而是以目標為中心的回歸坐標系。
DETR提出了一種集合到集合的分配方式，利用匈牙利算法預測結果自動分配到對應的GT。
anchor-free方法設計靈活，不引入其它先驗，學習過程簡化了很多，其中基于中心的方法[329]對小目標檢測有較大潛力可挖。
雖然優(yōu)點不少，但不可否認，anchor-free方法如何選擇合適的正樣本來生成預測結果是個問題，相比于anchor-based中使用高IoU正樣本，anchor-free可能會選到一些不好的正樣本，造成預測結果出現(xiàn)偏差。
下面顯示了anchor-free方法和一些里程碑方法。

利用輔助任務來增強3D目標的空間特征，并能對3D目標檢測提供一些隱性的指導。常用的輔助任務包括：語義分割、IoU分支預測、目標形狀補全、部件識別。

語義分割。前景分割可以提供目標的位置隱含信息；利用語義上下文知識可以增強空間特征；語義分割可以作為預處理方法，過濾背景樣本，提升3D檢測效率。
IoU預測分支可以輔助校正目標的置信度，比如預測置信度可以用分類置信度和IoU值的乘積來表示。經過IoU分支的校正，更容易選擇高質量的3D目標作為最終預測結果。
形狀補全，因為點云具有稀疏性，遠處的目標只能接收幾個點，因此從稀疏點云中補全目標形狀可以為后面的檢測提供幫助。
識別目標內部的零部件有助于3D目標檢測，部件可以揭示細粒度3D信息。
除此之外，還有一些比如場景流估計可以識別靜態(tài)和動態(tài)目標，可以在點云序列中跟蹤同一個3D目標，可以得到該目標更準確的估計。

主要的基于相機的3D目標檢測方案分為：單目3D、雙目、多相機3D等，具體看下圖的分類：

本身從單目圖像中檢測3D空間的目標是一個病態(tài)問題，因為單目無法提供足夠的3D信息，很難預測3D目標準確的位置信息。
很多方法利用幾何約束和形狀先驗從圖像中推斷深度信息，也是一種優(yōu)化單目3D目標定位問題的思路。但是和激光雷達比，還是相差較遠。

受到2D檢測方法的啟發(fā)，單目3D目標檢測最直接的解決方案是通過卷積神經網絡從圖像中直接回歸3D框參數。直接回歸的方法借鑒了2D檢測網絡架構的設計，可以端到端訓練。這些方法可以分為單階段、兩階段，或anchor-based/anchor-free方法。
基于anchor的方法主要預先設置好3D-anchor、2D-anchor、深度anchor，然后圖像經過卷積網絡后得到2D和3D的預測偏置，最終解碼及轉換過程如下所示：

anchor-free的方法也是通過2D卷積對圖像進行處理，利用多個頭去預測3D目標。具體包括一個分類頭、一個關鍵點頭預測粗粒度中心點、一個預測基于粗粒度中心點的偏置的頭、預測深度的頭、預測目標尺寸的頭以及預測觀測角的頭。
兩階段單目檢測方法通常將傳統(tǒng)的兩階段2D檢測體系擴展到3D目標檢測。具體來說，在第一階段利用2D檢測器從輸入圖像生成2D目標框。然后在第二階段，通過從2D ROI中預測3D目標參數，將2D框提升到3D空間。
ROI-10D[168]擴展了傳統(tǒng)的Faster RCNN[222]，在第二階段用一種新穎的頭來預測3D目標參數。
基于純圖像的方法可以直接使用2D目標檢測的最新進展，而且價格便宜，可以端到端訓練，效率也很高。只是從單張圖像預測深度比較困難。
下圖及表展示了相關方法：

深度估計是單目3D目標檢測的關鍵。為了獲得更準確的單目檢測結果，許多論文采用預訓練輔助深度估計網絡的方法。
具體來說，單目圖像首先通過預訓練的深度估計器，如MonoDepth[83]或DORN[76]，生成深度圖像。然后，主要有兩類方法處理深度圖像和單目圖像。
基于深度圖像的方法將圖像和深度映射與專門的神經網絡融合，生成深度感知特征，可以提高檢測性能。基于偽激光雷達的方法將深度圖像轉換為偽激光雷達點云，然后在點云上應用基于激光雷達的3D檢測器來檢測3D目標。具體如下表及圖所示。

許多方法利用圖像中目標的形狀和場景幾何等先驗知識，解決病態(tài)的單目3D目標檢測問題。
通過引入預訓練的子網絡或輔助任務來學習先驗知識，這些子網絡或輔助任務可以提供額外的信息或約束來幫助精確定位3D目標。廣泛采用的先驗知識包括目標形狀、幾何一致性、時間約束和分割信息。
如下表所示。
通過重建目標形狀，可以從圖像中獲得更詳細的目標形狀信息，有利于3D目標檢測。但形狀重建通常需要增加重建網絡預訓練模型，單目檢測流程無法做到端到端訓練。
而且目標的形狀通常是從CAD模型而不是現(xiàn)實世界的實例中學習的，重建的目標形狀和真實場景有較大差異。
采用幾何一致性，有助于提高檢測精度。然而，一些方法將幾何一致性表示為一個優(yōu)化問題，在后處理中優(yōu)化目標參數會比較耗時，阻礙了端到端訓練。
圖像分割是單目3D檢測中的重要信息。然而，訓練分割網絡需要的標注樣本比較貴。用外部數據集預訓練的分割模型存在泛化問題。

基于雙目的3D目標檢測是指從一對圖像中檢測出3D物體。與單目圖像相比，雙目提供了額外的幾何約束，可用于推斷更準確的深度信息。
基于雙目方法通常比基于單目的方法獲得更好的檢測性能。當然，基于雙目的方法與基于激光雷達的方法在性能上仍有很大的差距。
雙目方法與單目檢測方法相比，可以通過立體匹配技術獲得更精確的深度和視差估計，從而帶來更強的目標定位能力，顯著提高了3D目標檢測能力。具體方法見下圖及表。

自動駕駛汽車通常會配備多個攝像頭，從多個視角獲取完整的周邊環(huán)境信息。然而，如何利用多視圖圖像進行3D目標檢測還沒有得到廣泛的研究。
多攝像頭3D目標測的一個關鍵問題是如何識別不同圖像中的同一目標，并從多視角輸入中聚合目標特征。
一些論文通過利用跨視圖幾何約束[227]或目標重識別[52]來解決多視圖目標定位問題。其他工作通過引入3D目標查詢從不同視圖裁剪圖像特征[286]或轉換不同視圖的特征來處理多視圖特征聚合問題。