單目3D目標檢測由于其應用簡單，已成為自動駕駛的主流方法。一個突出的優(yōu)點是在推理過程中不需要LiDAR點云。然而，目前的大多數(shù)方法仍然依賴于3D點云數(shù)據(jù)來標記訓練階段使用的ground truths。這種訓練與推理的不一致使得大規(guī)模的反饋數(shù)據(jù)（large-scale feedback data）難以利用，增加了數(shù)據(jù)收集的費用。為了彌補這一缺陷，本文提出了一種新的弱監(jiān)督單目三維目標檢測方法，該方法僅用在圖像上標注的二維標簽來訓練模型。具體來說，本文在這個任務中探索了三種類型的一致性，即投影一致性、多視圖一致性和方向一致性，并基于這些一致性設計了一個弱監(jiān)督架構。此外，本文提出了一種新的二維方向標注方法（2D direction labeling method）來指導模型進行準確的旋轉方向預測。實驗表明，本文的弱監(jiān)督方法與一些完全監(jiān)督方法具有相當?shù)男阅?。當被用作預訓練方法時（When used as a pre-training method），本文的模型僅使用1/3的3D標簽就能顯著優(yōu)于相應的全監(jiān)督基線。

本文提出了一種新的單目3D目標檢測的弱監(jiān)督方法，該方法只將二維標簽作為ground truth，而不需要任何三維點云進行標記。據(jù)本文所知，本文是第一個在這個任務中完全避免3D點云依賴的工作。本文將投影一致性和多視圖一致性引入到該任務中，并設計了兩個一致性損失來指導基于它們的精確3D bounding boxes的預測。本文提出了一種新的標注方法叫2D direction label，來代替點云數(shù)據(jù)上標注的3D rotation label以及基于新標簽的方向一致性損失。在本文的實驗中，提出的弱監(jiān)督方法取得了與一些全監(jiān)督方法相當?shù)男阅?。本文還微調本文的模型與小比例的3D ground truth。結果表明，即使只有1/3的ground truth標簽，本文的方法也可以比相應的全監(jiān)督基線獲得更好的性能，展示了基于反饋生產(chǎn)數(shù)據(jù)改進模型的潛力。

圖2。提出的方法的體系結構。左欄顯示，在訓練階段，將來自不同視點的圖像對送入檢測模型，在預測和2Dground truth之間計算4個損失。右列顯示投影一致性和多視圖一致性的詳細信息。為了計算投影一致性損失，本文將預測的box投影到二維圖像中，并將其轉換為二維box，最后計算二維box與二維box標簽的差值。為了計算一致性損失，本文首先將從視點1預測的3Dbox轉換為視點2的坐標系，然后計算轉換后的box與視點2預測的box的差值。圖1。投影和多視圖的一致性的可視化。(a)由于投影損失在三維空間中有多個最優(yōu)解，僅靠投影一致性無法確定目標的準確位置。例如，3D空間中的兩個虛線框產(chǎn)生相同的投影損失，因為它們在2D空間中有相同的投影。(b)在多視圖一致性的約束下，最優(yōu)解必須是兩個視點的共同解，即目標位置。

對此，你怎么看？歡迎轉發(fā)朋友圈，發(fā)表你的觀點。或者加入自動駕駛技術交流群，和眾多同行朋友一起交流討論。