來(lái)源丨大連理工大學(xué)編輯丨極市平臺(tái)

論文地址：https://arxiv.org/pdf/2204.10137.pdf

代碼地址：https://github.com/vis-opt-group/SCI

本文提出了一種全新的低光照?qǐng)D像增強(qiáng)方案：自校準(zhǔn)光照學(xué)習(xí)（SCI）。通過(guò)構(gòu)建引入自校準(zhǔn)模塊的權(quán)重共享光照學(xué)習(xí)過(guò)程，摒棄了網(wǎng)絡(luò)結(jié)構(gòu)的繁雜設(shè)計(jì)過(guò)程，實(shí)現(xiàn)了僅使用簡(jiǎn)單操作進(jìn)行增強(qiáng)的目的。大量實(shí)驗(yàn)結(jié)果表明，SCI在視覺(jué)質(zhì)量、計(jì)算效率、下游視覺(jué)任務(wù)應(yīng)用方面均取得了突破（見(jiàn)圖1）。該研究已被CVPR 2022收錄為Oral。

低光照?qǐng)D像增強(qiáng)作為圖像處理中的經(jīng)典任務(wù)，在學(xué)術(shù)界與工業(yè)界均受到了廣泛關(guān)注。2018-2020年連續(xù)舉辦三屆的UG2+Prize Challenge比賽將低光照人臉檢測(cè)作為主競(jìng)賽單元，極大程度推動(dòng)了學(xué)術(shù)界對(duì)于低光照?qǐng)D像增強(qiáng)技術(shù)的研究。某手機(jī)廠商于2019年發(fā)布會(huì)上將暗光拍攝能力作為主打亮點(diǎn)，掀起了工業(yè)界利用深度學(xué)習(xí)技術(shù)解決低光照?qǐng)D像增強(qiáng)的又一波浪潮。

現(xiàn)有的低光照?qǐng)D像增強(qiáng)技術(shù)聚焦于構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的深度網(wǎng)絡(luò)，通常其網(wǎng)絡(luò)模型復(fù)雜，導(dǎo)致計(jì)算效率低、推理速度慢，并且由于對(duì)于訓(xùn)練數(shù)據(jù)分布的依賴性導(dǎo)致其在未知場(chǎng)景下的性能缺乏保障?？偟膩?lái)說(shuō)，現(xiàn)有技術(shù)普遍缺乏實(shí)用性。為解決以上問(wèn)題，本文致力于從學(xué)習(xí)策略入手，構(gòu)建一種快速、靈活與穩(wěn)健的低光照?qǐng)D像增強(qiáng)方案。

（1）權(quán)重共享的光照學(xué)習(xí)

根據(jù)Retinex理論，低光照觀測(cè)圖像等于清晰圖像與光照的點(diǎn)乘，即。在基于該模型設(shè)計(jì)的方法中，光照的估計(jì)通常被視為主要的優(yōu)化目標(biāo)，得到精確的光照后，清晰圖像能夠上述關(guān)系直接得到。受現(xiàn)有工作的逐階段光照優(yōu)化過(guò)程啟發(fā)，本文構(gòu)建漸進(jìn)式的光照優(yōu)化過(guò)程，其基本單元如下所示：

其中  與  分別表示第t階段的殘差與光照。 表示光照估計(jì)網(wǎng)絡(luò)。需要注意的是這里  與 階段數(shù)無(wú)關(guān), 即在每一階段光照估計(jì)網(wǎng)絡(luò)均保持結(jié)構(gòu)與參數(shù)共享狀態(tài)。進(jìn)一步理解該模塊能夠 發(fā)現(xiàn), 在漸進(jìn)式優(yōu)化與參數(shù)共享機(jī)制下, 每個(gè)階段均希望得到與目標(biāo)接近的輸出。換句話說(shuō), 是否存在一種可能, 能夠令每個(gè)階段的輸出盡可能接近且與目標(biāo)一致, 這樣一來(lái), 多階段級(jí)聯(lián) 測(cè)試變?yōu)閱坞A段測(cè)試, 將大幅減少推理代價(jià)。為實(shí)現(xiàn)該目標(biāo), 如下引入了一種自校準(zhǔn)模塊。

（2）自校準(zhǔn)模塊

該模塊的目的在于從分析每個(gè)階段之間的關(guān)系入手，確保在訓(xùn)練過(guò)程中的不同階段的輸出均能夠收斂到相同的狀態(tài)。自校準(zhǔn)模塊的公式表達(dá)如下所示：

其中是校準(zhǔn)后的用于下一階段的輸入。也就是說(shuō)，原本的光照學(xué)習(xí)過(guò)程中第二階段及以后的輸入變成了由上述公式得到的結(jié)果（總的計(jì)算流程如圖2所示），即光照優(yōu)化過(guò)程的基本單元被重新公式化為：

實(shí)際上，該自校準(zhǔn)模塊通過(guò)引入物理規(guī)律（即Retinex理論），逐步校正了每一階段的輸入來(lái)間接地影響了每一階段的輸出，進(jìn)而實(shí)現(xiàn)了階段間的收斂。圖3探究了自校準(zhǔn)模塊的作用，可以發(fā)現(xiàn)，自校準(zhǔn)模塊的引入使得不同階段的結(jié)果能夠很快地收斂到相同狀態(tài)（即三個(gè)階段的結(jié)果重合）。

（3）無(wú)監(jiān)督損失函數(shù)

為了更好地訓(xùn)練提出的學(xué)習(xí)框架，該部分設(shè)計(jì)了一種無(wú)監(jiān)督損失函數(shù)，以約束每一階段的光照估計(jì)，公式表示如下：

其中前一項(xiàng)與后一項(xiàng)分別代表數(shù)據(jù)保真項(xiàng)及平滑正則項(xiàng)（關(guān)于各個(gè)變量的詳細(xì)說(shuō)明請(qǐng)參見(jiàn)論文）。

（1）定量分析

表1展示了在著名的MIT-Adobe FiveK數(shù)據(jù)集上的定量結(jié)果對(duì)比，可以看出，提出方法取得了最優(yōu)性能。值得注意的是，盡管提出方法為無(wú)監(jiān)督方法，但其在PSNR與SSIM這類有參考指標(biāo)上的結(jié)果均實(shí)現(xiàn)了最優(yōu)，究其原因在于該數(shù)據(jù)集的Ground Truth是由專家修飾得到的，也說(shuō)明了提出方法生成的結(jié)果更符合人類視覺(jué)習(xí)慣。

（2）真實(shí)場(chǎng)景下的視覺(jué)對(duì)比

圖4展示了兩組在有難度的真實(shí)場(chǎng)景下的增強(qiáng)結(jié)果對(duì)比。可以看出，相比于其他的方法，提出方法的增強(qiáng)結(jié)果亮度適中、細(xì)節(jié)豐富、色調(diào)自然、具有更高的視覺(jué)質(zhì)量。

（3）下游任務(wù)性能分析

為了進(jìn)一步探究SCI的優(yōu)勢(shì)，本文比較了在低光照人臉檢測(cè)與夜間語(yǔ)義分割兩個(gè)下游任務(wù)的性能。在低光照人臉檢測(cè)任務(wù)中，定義了兩種與SCI相關(guān)的版本，一種是將SCI作為預(yù)處理來(lái)實(shí)現(xiàn)數(shù)據(jù)的亮度增強(qiáng)（其他對(duì)比方法采用相同方式）并在該數(shù)據(jù)基礎(chǔ)上微調(diào)檢測(cè)網(wǎng)絡(luò)，另一種是SCI與檢測(cè)網(wǎng)絡(luò)聯(lián)合微調(diào)（記為SCI+）。圖5中展示了檢測(cè)結(jié)果，可以看出，本文提出的方法具有明顯優(yōu)勢(shì)，能夠檢測(cè)出更多的小目標(biāo)。

圖6展示了夜間語(yǔ)義分割性能，可以看出，SCI獲得了有競(jìng)爭(zhēng)的數(shù)值結(jié)果，同時(shí)在類別劃分上更準(zhǔn)確，邊緣刻畫更清晰。

本文提出的SCI在圖像質(zhì)量和推理速度方面均取得了突破，為低光照?qǐng)D像增強(qiáng)任務(wù)的解決提供了一種新的視角，即如何在有限資源下賦予網(wǎng)絡(luò)模型更強(qiáng)的刻畫能力，該種視角相信也能夠?yàn)槠渌嚓P(guān)視覺(jué)增強(qiáng)領(lǐng)域帶來(lái)啟發(fā)。未來(lái)，作者將繼續(xù)探究如何設(shè)計(jì)更有效的學(xué)習(xí)手段來(lái)建立輕量、魯棒、面向更具有挑戰(zhàn)真實(shí)場(chǎng)景的低光照?qǐng)D像增強(qiáng)方案。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。