論文題目：Gated Stereo: Joint Depth Estimation from Gated and Wide-Baseline Active Stereo Cues

作者：Stefanie Walz；Mario Bijelic；Andrea Ramazzina；Amanpreet Walia；Fahim Mannan等人

作者機(jī)構(gòu)：Mercedes-Benz(梅賽德斯-奔馳)；Google Inc(普林斯頓大學(xué))；Algolux(一家全球公認(rèn)的計(jì)算機(jī)視覺公司)

論文鏈接：https://arxiv.org/pdf/2305.12955.pdf

項(xiàng)目代碼：https://github.com/princeton-computational-imaging/GatedStereo

項(xiàng)目主頁(yè)：https://light.princeton.edu/publication/gatedstereo/

Gated Stereo是一種高分辨率和長(zhǎng)距離深度估計(jì)技術(shù)，可在活動(dòng)門控立體圖像上運(yùn)行。使用主動(dòng)和高動(dòng)態(tài)范圍的被動(dòng)捕捉，Gated Stereo利用多視角線索以及來(lái)自主動(dòng)門控的飛行時(shí)間強(qiáng)度線索。為此，作者提出了一種具有單眼和立體深度預(yù)測(cè)分支的深度估計(jì)方法，在最終融合階段中將它們結(jié)合起來(lái)。

本文提出了一種名為Gated Stereo的高分辨率和遠(yuǎn)距離深度估計(jì)技術(shù)，其基于活動(dòng)門控立體圖像進(jìn)行運(yùn)算。Gated Stereo通過利用多視角線索和來(lái)自活動(dòng)門控的飛行時(shí)間強(qiáng)度線索，以及活動(dòng)捕獲和高動(dòng)態(tài)范圍的被動(dòng)捕獲，實(shí)現(xiàn)了立體深度信息的高效估計(jì)。為了實(shí)現(xiàn)這個(gè)目的，作者提出了一種具有單目和立體深度預(yù)測(cè)分支的深度估計(jì)方法，在最終的融合階段組合這兩個(gè)分支。每個(gè)塊都通過監(jiān)督和門控自監(jiān)督損失的組合進(jìn)行監(jiān)督學(xué)習(xí)。為了便于訓(xùn)練和驗(yàn)證，作者獲取了一組用于汽車場(chǎng)景的長(zhǎng)距離同步門控立體數(shù)據(jù)集。研究發(fā)現(xiàn)，在距離160米以內(nèi)的范圍內(nèi)，與最佳RGB立體方法相比，該方法的平均絕對(duì)誤差（MAE）提高了50％以上，與現(xiàn)有的單目門控方法相比，MAE提高了74％。

具體來(lái)說(shuō)，作者做出了以下貢獻(xiàn)：

• 作者提出了一種新穎的深度估計(jì)方法，使用基于多視角和飛行時(shí)間深度線索的門控密集深度圖。
• 作者引入了一個(gè)深度估計(jì)網(wǎng)絡(luò)，其中包含兩個(gè)不同的深度估計(jì)分支，一個(gè)單目分支和一個(gè)立體分支，分別使用主動(dòng)和被動(dòng)測(cè)量，并采用半監(jiān)督訓(xùn)練方案來(lái)訓(xùn)練估計(jì)器。
• 作者構(gòu)建了一個(gè)原型車來(lái)捕捉測(cè)試和訓(xùn)練數(shù)據(jù)，從而使作者能夠在遠(yuǎn)距離汽車場(chǎng)景中評(píng)估該方法，在這些場(chǎng)景中，作者將MAE誤差降低了50％，優(yōu)于下一個(gè)最佳的RGB立體方法，并將其與現(xiàn)有的單目門控方法相比，對(duì)于距離最高達(dá)160米的情況，誤差降低了74％。

本文介紹了通過不同的傳感器技術(shù)實(shí)現(xiàn)深度估計(jì)的方法，其中包括時(shí)飛傳感器、單目/雙目相機(jī)、LiDAR、閘門相機(jī)等。時(shí)飛傳感器通過測(cè)量****到場(chǎng)景中并返回檢測(cè)器的光的往返時(shí)間來(lái)獲取深度信息。單目/雙目相機(jī)的深度估計(jì)基于對(duì)圖像的分析和處理。LiDAR通過激光****到場(chǎng)景中并返回激光束，通過測(cè)量回程時(shí)間和激光束掃描夾角來(lái)獲取深度信息。閘門相機(jī)使用短時(shí)間光閘限制可視景深。雖然每種傳感器技術(shù)都有其自身的優(yōu)劣勢(shì)，但它們都是在特定環(huán)境下實(shí)現(xiàn)深度估計(jì)的有效方式。

時(shí)飛傳感器：

時(shí)飛傳感器通過測(cè)量****到場(chǎng)景中的光的往返時(shí)間來(lái)獲取深度信息，常用的包括相關(guān)時(shí)飛相機(jī)、脈沖時(shí)飛傳感器和帶寬度深度測(cè)量的閘門光照，其中相關(guān)時(shí)飛傳感器通過波照射到場(chǎng)景中，根據(jù)****和接收光之間的相位差來(lái)估計(jì)深度，具有高精度和高空間分辨率的優(yōu)點(diǎn)，但對(duì)環(huán)境光的敏感性較強(qiáng)，限制了其在室外場(chǎng)景中應(yīng)用；而脈沖時(shí)飛傳感器則通過直接測(cè)量從一個(gè)點(diǎn)反射回來(lái)的光的往返時(shí)間來(lái)獲取深度信息，但局限于動(dòng)態(tài)場(chǎng)景下的低空間分辨率并且容易受到惡劣天氣影響。

單目/雙目相機(jī)：

單目/雙目相機(jī)常用的深度估計(jì)方法包括單張圖像估計(jì)、稀疏LiDAR點(diǎn)云引導(dǎo)的單張圖像估計(jì)、雙目圖像估計(jì)和基于雙目相機(jī)和稀疏LiDAR的深度估計(jì)。單目深度估計(jì)通常適用于成本較低的嵌入式系統(tǒng)，具有的空間分辨率限制可以通過相機(jī)的高幀率來(lái)抵消，但缺點(diǎn)是無(wú)法解決深度估計(jì)尺度的歧義問題。雙目深度估計(jì)可以通過多視點(diǎn)估計(jì)解決尺度歧義問題，但需要獲取可靠的地面真實(shí)深度。對(duì)于深度估計(jì)，現(xiàn)有的方法主要采用有監(jiān)督和無(wú)監(jiān)督兩種學(xué)習(xí)方法，有監(jiān)督深度估計(jì)方法通常依靠ToF數(shù)據(jù)或多視圖數(shù)據(jù)進(jìn)行監(jiān)督，但相應(yīng)的密集地面真實(shí)深度數(shù)據(jù)比較難以獲得；無(wú)監(jiān)督深度估計(jì)方法通常利用多視圖幾何來(lái)進(jìn)行自我監(jiān)督學(xué)習(xí)。

深度閘門相機(jī)：

閘門相機(jī)通過控制光閘時(shí)間，只提取一定深度范圍內(nèi)的光來(lái)估計(jì)深度，常用的方法包括求解分析解、學(xué)習(xí)貝葉斯方法和深度神經(jīng)網(wǎng)絡(luò)方法。

本文介紹了一種名為門控立體成像的技術(shù)，該技術(shù)利用兩個(gè)門控相機(jī)進(jìn)行同步工作，通過單個(gè)光源照明的方式捕獲三個(gè)同步的門控和被動(dòng)切片。門控技術(shù)可以在2D圖像中集成隱含的深度信息，同時(shí)可以通過校準(zhǔn)消暗電流來(lái)調(diào)整強(qiáng)度計(jì)數(shù)，與環(huán)境光或其他光源的影響相比。通過對(duì)兩個(gè)未被調(diào)制的被動(dòng)暴露進(jìn)行HDR獲取，可以利用同一相機(jī)設(shè)置從被動(dòng)立體強(qiáng)度線索中恢復(fù)深度，該系統(tǒng)每秒捕獲120個(gè)圖像，實(shí)現(xiàn)了每秒24個(gè)圖像的更新，其更新速率約為最新商業(yè)掃描LiDAR系統(tǒng)的兩倍。

在本文中，作者提出了一種利用門控圖像的主動(dòng)和被動(dòng)多視圖線索進(jìn)行深度估計(jì)的方法。具體而言，作者引入了一個(gè)聯(lián)合立體和單目網(wǎng)絡(luò)，使用幾個(gè)適用于門控立體數(shù)據(jù)的一致性損失對(duì)此網(wǎng)絡(luò)進(jìn)行半監(jiān)督。接下來(lái)，作者首先描述所提出的網(wǎng)絡(luò)架構(gòu)，然后再描述半監(jiān)督方案。

本文提出了一個(gè)聯(lián)合立體-單目深度網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有單目和立體分支以及最終的融合網(wǎng)絡(luò)，將這些分支的輸出組合起來(lái)生成最終的深度圖。單目分支使用DPT架構(gòu)輸出絕對(duì)深度，而立體分支使用RAFT-Stereo和HRFormer網(wǎng)絡(luò)提取高分辨率特征匹配視差。最終的聯(lián)合深度圖通過輕量級(jí)的ResUNet網(wǎng)絡(luò)進(jìn)行融合，旨在解決單目深度估計(jì)中的深度量化和立體深度估計(jì)中的遮擋等問題。

作者提出了一種用于自監(jiān)督深度估計(jì)的新型系統(tǒng)，基于閘門光纖雷達(dá)技術(shù)，通過稀疏監(jiān)督和自監(jiān)督一致性損失來(lái)指導(dǎo)深度估計(jì)。其中，左右再投影一致性損失是指在已知視差的情況下，通過將左側(cè)圖像到右側(cè)圖像的映射來(lái)驗(yàn)證左右兩側(cè)圖像的光學(xué)一致性，其中采用了基于結(jié)構(gòu)相似度度量和L1范數(shù)的相似性損失。單目分支和立體分支分別用于對(duì)單個(gè)圖像和立體圖像進(jìn)行深度估計(jì)。融合損失用于將單目和立體的深度估計(jì)結(jié)果合并。還有其他損失函數(shù)，如環(huán)形構(gòu)建、邊緣保留平滑以及點(diǎn)云監(jiān)督損失。這些損失函數(shù)都通過調(diào)高和縮小具體系數(shù)影響整體訓(xùn)練。

作者首先分別使用文中介紹的損失函數(shù)獨(dú)立地優(yōu)化單目和立體網(wǎng)絡(luò)。單目和立體網(wǎng)絡(luò)都使用相同的協(xié)議進(jìn)行訓(xùn)練，使用ADAMW算法，其中β1 = 0.9，β2 = 0.999，學(xué)習(xí)率為 ，權(quán)重衰減為。最后，使用文中描述的損失函數(shù)訓(xùn)練融合網(wǎng)絡(luò)，學(xué)習(xí)率為3 × ，訓(xùn)練5個(gè)epochs。使用η=0.05生成方程式4中提到的遮擋掩碼。對(duì)于閘門一致性掩碼，將γ設(shè)置為0.98，θ設(shè)置為0.04。所有模型的輸入/輸出分辨率均為1024×512。

作者描述了捕獲用于訓(xùn)練和測(cè)試的長(zhǎng)距離深度數(shù)據(jù)集。該數(shù)據(jù)集是在德國(guó)南部進(jìn)行的超過一千公里的行駛數(shù)據(jù)收集活動(dòng)期間獲取的。作者為測(cè)試車輛配備了一個(gè)長(zhǎng)距離的激光雷達(dá)系統(tǒng)（Velodyne VLS128），具有高達(dá)200米的范圍，以及一臺(tái)汽車RGB立體攝像頭（On-Semi AR0230傳感器）和一套帶同步的NIR閘門立體攝像頭設(shè)置（BrightWayVision）。所有傳感器都安裝在可攜帶的傳感器立方體中，除了激光雷達(dá)傳感器之外。RGB立體相機(jī)具有1920x1080像素的分辨率，并以30 Hz運(yùn)行，捕獲12位HDR圖像。閘門相機(jī)以120 Hz幀率提供分辨率為1280x720的10位圖像，我們將其分為三個(gè)切片和兩個(gè)類似HDR的額外環(huán)境捕捉（沒有主動(dòng)照明）。作者在前拉鉤上安裝了兩個(gè)垂直腔面****激光器（VCSEL）模塊作為主動(dòng)照明。激光以每個(gè)500W的峰值功率，808nm的波長(zhǎng)和240-370ns的激光脈沖持續(xù)時(shí)間洪水般照亮場(chǎng)景。由于眼部安全法規(guī)的限制，最大峰值功率受到限制。安裝的參考激光雷達(dá)系統(tǒng)以10 Hz運(yùn)行，并產(chǎn)生128條線。所有傳感器都經(jīng)過校準(zhǔn)和時(shí)間同步，該數(shù)據(jù)集包含在白天、夜間和不同天氣條件下的107348個(gè)樣本。經(jīng)過場(chǎng)景多樣性的子選擇后，我們將數(shù)據(jù)集分為54320個(gè)樣本進(jìn)行訓(xùn)練，728個(gè)樣本進(jìn)行驗(yàn)證和2463個(gè)樣本進(jìn)行測(cè)試。

本文提出了一個(gè)用于夜間、白天深度估計(jì)的新方法，并在實(shí)驗(yàn)證明了它的有效性。該方法與現(xiàn)有門控方法、單目RGB方法、立體RGB方法和單目+激光雷達(dá)方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，所提出的方法在日間和夜間條件下均取得了更好的效果，具有更高的長(zhǎng)程深度預(yù)測(cè)準(zhǔn)確率和更好的細(xì)節(jié)表現(xiàn)。對(duì)于所提出方法的貢獻(xiàn)進(jìn)行的消融實(shí)驗(yàn)表明，采用了不同的組成部分可以有效地降低MAE誤差。具體地，單目分支、無(wú)源圖像和有源片段的串聯(lián)、環(huán)境感知一致性和提議的骨干網(wǎng)絡(luò)、門控一致性損失和左右視圖和燈光的變形損失以及單目和立體混合輸出的融合階段都可以降低MAE誤差。

本文提出了一種新的方法Gated Stereo，使用門控立體對(duì)預(yù)測(cè)稠密深度。通過利用主動(dòng)和被動(dòng)圖像，該方法可以提取深度線索。對(duì)于立體線索和單眼門控提示的不足，該方案預(yù)測(cè)立體和每個(gè)攝像機(jī)的單眼深度，并將其融合以獲得單個(gè)高質(zhì)量的深度圖。該方法經(jīng)過半監(jiān)督訓(xùn)練和驗(yàn)證，并在一個(gè)新的遠(yuǎn)程汽車數(shù)據(jù)集上得到了良好的效果，在立體RGB圖像上實(shí)現(xiàn)的平均絕對(duì)深度誤差比下一個(gè)最佳方法優(yōu)50％，比下一個(gè)最佳現(xiàn)有門控方法優(yōu)74％。未來(lái)該方法可以用于解決 LiDAR 系統(tǒng)無(wú)法解決的新穎三維視覺任務(wù)。