【導讀】來自南京大學和清華大學的最新研究論文《從單目圖像中恢復三維人體網(wǎng)格》，提出了從而二維數(shù)據(jù)提升至三維網(wǎng)格過程中基于優(yōu)化和基于回歸的兩種范式，第一次關注單目3D人體網(wǎng)格恢復任務的研究，并討論了有待解決的問題和未來的發(fā)展方向。

從單目圖像中估計人體的姿勢和形狀是計算機視覺領域中一個長期存在的問題。自統(tǒng)計學人體模型發(fā)布以來，三維人體網(wǎng)格恢復一直受到廣泛關注。

為了獲得有序的、符合物理規(guī)律的網(wǎng)格數(shù)據(jù)而開發(fā)了兩種范式，以克服從二維到三維提升過程中的挑戰(zhàn)：i）基于優(yōu)化的范式，利用不同的數(shù)據(jù)項和正則化項作為優(yōu)化目標；ii）基于回歸的范式，采用深度學習技術以端到端的方式解決問題。同時，不斷提高各種數(shù)據(jù)集的3D網(wǎng)格標簽的質量。

盡管在過去十年中，該研究取得了顯著的進展，但由于肢體動作靈活、外觀多樣、環(huán)境復雜以及人工注釋不足，這項任務仍然具有挑戰(zhàn)性。

據(jù)調查，這是第一次關注單目3D人體網(wǎng)格恢復任務的研究。

論文鏈接：https://arxiv.org/abs/2203.01923

我們從介紹人體模型開始，通過深入分析其優(yōu)缺點詳細闡述了恢復框架和訓練目標。我們還總結了數(shù)據(jù)集、評估指標和基準測試結果。最后討論了有待解決的問題和未來的發(fā)展方向，旨在激發(fā)研究人員的積極性，促進各位學者在這一領域的研究。

定期更新的項目頁面可在https://github.com/tinatiansjz/hmr-survey查看。

引言

從單目圖像中理解人類是計算機視覺的基本任務之一。在過去的20年里，業(yè)界一直致力于預測二維內(nèi)容，如關鍵點、輪廓和RGB圖像的局部分割。

隨著這些進展，研究人員進一步尋求在3D空間中預測人類姿勢。雖然簡單的動作可以通過2D內(nèi)容或一些稀疏的3D關節(jié)相對清晰地表示出來，但復雜的人類行為需要更細致地描述人體細節(jié)。此外，因為我們使用表面皮膚與外界直接接觸而不是用未觀察到的關節(jié)，所以對身體的形狀、接觸面、手勢和表情進行推理也是至關重要的。

近年來，社區(qū)已經(jīng)將他們的興趣轉向了人體的3D網(wǎng)格恢復，以及富有表情的臉和生動細致的手。這一趨勢與統(tǒng)計人體模型的成功密不可分。

如圖1所示，自2015年發(fā)布SMPL模型和2019年發(fā)布SMPL-X模型以來，隨著它們的年度引用量逐年快速增長，它們獲得了越來越多的關注。

圖 1 三種具有代表性的3D統(tǒng)計人體模型的年度引用，即SCAPE、SMPL和SMPL-X

人體網(wǎng)格的恢復在促進后續(xù)任務（如衣服人體重建、動畫和渲染）方面起著關鍵作用。它還涉及廣泛的應用，如VR/AR內(nèi)容創(chuàng)建、虛擬試穿、計算機輔助指導等等，如圖2所示。

圖 2 人體網(wǎng)格恢復的現(xiàn)實應用：（a）一款健身視頻游戲（b） 虛擬試穿（c）3D+AI潛水教練系統(tǒng)（d）游泳過程中的動力學模擬

從單目圖像中恢復三維人體網(wǎng)格非常具有挑戰(zhàn)性，因為將二維觀測值提升到三維空間時存在固有的模糊性、柔性身體運動學結構、與環(huán)境的復雜性以及人工三維數(shù)據(jù)注釋不足等問題。

為了解決這些問題，在該領域研究了兩種不同的范式，以恢復一致且物理上合理的結果。對于基于優(yōu)化的范例，通過迭代的方式將身體模型顯式地應用于二維觀測，以各種數(shù)據(jù)項和正則化項為優(yōu)化目標。對于基于回歸的范例利用神經(jīng)網(wǎng)絡強大的非線性映射能力，直接從原始圖像像素預測模型參數(shù)。設計了不同的網(wǎng)絡架構和回歸目標，以實現(xiàn)更好的性能。

同時，為了促進這項任務的研究，還投入了大量精力創(chuàng)建各種數(shù)據(jù)集。盡管近年來取得了顯著進展，但在實現(xiàn)強健、準確和高效的人體網(wǎng)格恢復的最終目標面前，業(yè)界仍然面臨著挑戰(zhàn)。

本綜述主要關注深度學習時代的單目3D人體網(wǎng)格恢復方法（也稱3D人體姿勢和形狀估計）。

將單個RGB圖像和單目RGB視頻（統(tǒng)稱為「單目圖像」）作為輸入。除了從單目圖像中恢復單人外，我們還考慮了多人恢復。

對于重建目標，使用統(tǒng)計人體模型來估計衣服下的體型。RGBD和多視圖輸入有助于解決歧義，但它們不在本綜述的范圍內(nèi)。我們只是忽略了服裝的造型，這是向照片現(xiàn)實主義邁進的一步。

我們請讀者參考中關于人類服裝重建的內(nèi)容。我們也不涉及神經(jīng)渲染方面的工作，這些工作側重于外觀的建模，而不是幾何體。

這項調查也是對現(xiàn)有調查論文的補充，主要關注2D/3D人體姿勢估計。

其余部分組織如下：

在第2節(jié)中，我們簡要介紹了人類模型的發(fā)展歷史，并提供了SMPL模型的詳細信息，SMPL模型是人類推理中使用最廣泛的模板。第3節(jié)描述了用手和臉進行身體恢復和全身恢復的方法。方法分為基于優(yōu)化的范式或基于回歸的范式。在第4節(jié)和第5節(jié)中，我們將整理出幫助處理視頻或多人恢復的新模塊。然而，如果我們僅僅用常規(guī)數(shù)據(jù)項監(jiān)督人體，結果可能在物理上不合理，并且存在視覺缺陷。因此，在第6節(jié)中，我們討論了通過涉及真實攝像機模型、接觸約束和人類先驗來增強物理合理性的策略。第7節(jié)總結了常用的數(shù)據(jù)集和評估標準，以及基準排行榜。最后，我們在第8節(jié)中得出結論并指出一些有價值的未來方向。

人體網(wǎng)格恢復

自從統(tǒng)計身體模型發(fā)布以來，研究人員利用它們從單目圖像中估計形狀和姿勢。Balan等率先從圖像中估計SCAPE的參數(shù)。

目前，學術界普遍采用SMPL進行三維體型恢復。這要歸功于SMPL的開源特性和它周圍快速發(fā)展的社區(qū): Ground-Truth真相采集方法，具有擴展SMPL注釋的數(shù)據(jù)集，以及里程碑作品。

在本節(jié)中，我們將根據(jù)預先定義的人體模型來整理人體網(wǎng)格恢復的文章。身體捕捉身材和姿勢的變化，但不考慮衣服或頭發(fā)。因此，更準確地說，這些方法可以估計出穿著衣服或緊身衣時身體的形狀和姿勢。

在圖4中，我們演示了一些有代表性的方法。我們根據(jù)它們采用的人體模型對它們進行分類。

圖 3 最相關的參數(shù)化人體模型和3D人體網(wǎng)格恢復方法時間軸

圖 4 基于回歸的人體網(wǎng)格恢復方法的流程

回歸網(wǎng)絡中各種輸出類型和中間表示的說明

我們研究了四種輸出類型：(a)參數(shù)輸出；(b)網(wǎng)格頂點的三維坐標；(c)UV 位置圖；(d)在姿態(tài)和/或形狀參數(shù)上的概率分布。

在多階段框架中采用的中間表示包括(a)輪廓；(b)分割；(c) 2D位姿熱圖；(d)二維關鍵點坐標；(e) IUV地圖；(d)三維關鍵點坐標，可作為簡化輸入或指導。

表 1 用于人體網(wǎng)格恢復的典型回歸方法總結

總結

在這篇論文告中，我們對過去十年中的3D人體網(wǎng)格恢復方法進行了全面概述。分類基于設計范式、重構粒度和應用場景。

我們還特別考慮了物理合理性，包括相機模型、接觸約束和人類先驗。

在實驗部分，我們介紹了相關的數(shù)據(jù)集、評估指標，并提供了性能比較，希望促進這一領域的進步。

參考資料：

https://arxiv.org/abs/2203.01923

本文僅做學術分享，如有侵權，請聯(lián)系刪文。