用AI腦補慢動作，30幀秒變120幀，輕松看清“松果糖豆五連鞭”動作細(xì)節(jié)
加入技術(shù)交流群
以下文章來源于HyperAI超神經(jīng) ，作者神經(jīng)小兮
如今，人們對于視頻幀率的追求越來越高，因為高幀率視頻更加順滑、流暢，能極大地提升人們的觀看體驗。
現(xiàn)有相機(jī)拍攝的視頻幀率，也從 24 FPS（Frames Per Second) 不斷提升到 60 FPS，再到 240 FPS 甚至更高。
在絕大多數(shù)電影幀率 24 的當(dāng)下，李安的《雙子殺手》以 120 的幀率實現(xiàn)電影技術(shù)的革新
但是，高幀率的攝像設(shè)備，對于內(nèi)存需求非常大，而且成本高昂，尚不能普及。為了在沒有專業(yè)設(shè)備的情況下，能夠得到高幀率的視頻，視頻插幀技術(shù)應(yīng)運而生。
而英偉達(dá)提出的 AI「腦補」**** Super SloMo，則在眾多視頻插幀技術(shù)中一騎絕塵，即使幀率僅僅為 30 幀的視頻，也可以 Super SloMo 補成 60 幀、240 幀甚至更高。
傳統(tǒng)插幀方法優(yōu)劣勢一覽
為了更好地理解 Super SloMo，我們首先來了解一下現(xiàn)有的較為傳統(tǒng)的視頻插幀技術(shù)。
幀采樣
幀采樣就是用關(guān)鍵幀來做補償幀，其實質(zhì)就是拉長每一個關(guān)鍵幀的顯示時間，相當(dāng)于并沒有插幀。除了獲得文件屬性更高的幀率和在同視頻質(zhì)量下更大的文件體積外，不會帶來任何視覺觀感上的提升。
優(yōu)點：幀采樣消耗資源少，速度快。
缺點：可能會使得視頻看起來不是很流暢。
幀混合
幀混合，顧名思義，就是提升前后關(guān)鍵幀的透明度，再將其混合成一個新的幀，來填補空缺。
優(yōu)點：計算所需時長短。
缺點：效果不佳。由于只是簡單的把原關(guān)鍵幀變成半透明狀，運動物體輪廓在前后兩幀交疊的時候，就會產(chǎn)生明顯的模糊場景，對視頻的視覺效果流暢程度提升很小。
運動補償
運動補償（Motion Estimation and Motion Compensation，簡稱 MEMC），其原理是在水平和垂直兩個方向上，對兩幀之間的差異尋找出現(xiàn)運動的塊，通過分析圖像塊的運動趨勢，再輔以計算得到中間幀。
MEMC 主要被應(yīng)用于電視、顯示器和移動端，提升視頻幀率，給觀眾更加流暢的觀感。
優(yōu)點：減小運動抖動，減弱畫面拖尾與虛影，提升畫面清晰度。
缺點：對于運動物體背景比較復(fù)雜的情況 ，就會出現(xiàn)物體邊緣運動的 bug。
光流法
光流法是計算機(jī)視覺研究中的一個重要方向，其根據(jù)上下幀來推斷像素移動的軌跡，自動生成新的空缺幀。有點類似于運動模糊計算方法。
優(yōu)點：畫面更流暢、卡頓感弱。
缺點：計算量大, 耗時長；對光線敏感，在光線變化較大的情況下，容易出現(xiàn)畫面紊亂的錯誤。
Super SloMo：AI 插幀法，堪稱業(yè)界經(jīng)典
在 2018 年計算機(jī)頂會 CVPR 上，英偉達(dá)發(fā)布的論文《Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation》中，提出了 Super SloMo，在業(yè)界引起廣泛關(guān)注。
《超級慢動作：用于視頻多個中間幀插值的的高質(zhì)量估計》論文地址：
https://arxiv.org/pdf/1712.00080.pdf
Super SloMo 不同于傳統(tǒng)方法，它利用深度神經(jīng)網(wǎng)絡(luò)來實現(xiàn)補幀，基本思路為：使用大量普通視頻與慢動作視頻進(jìn)行訓(xùn)練，然后讓神經(jīng)網(wǎng)絡(luò)學(xué)會推理，根據(jù)正常視頻生成高質(zhì)量的超級慢動作視頻。
Super SloMo 方法框架圖包括光流計算模塊（左）與特定時間流插值模塊（右）
Super SloMo 團(tuán)隊提出的方法，其整個框架依賴于兩個全卷積神經(jīng)網(wǎng)絡(luò) U-Net。
首先，用一個 U-Net 來計算相鄰輸入圖像之間的雙向光流。然后，在每個時間步長上對這些光流進(jìn)行線性擬合，以近似中間幀的雙向光流。
為了解決運動邊界出現(xiàn)偽影的問題，使用另一個 U-Net 來對近似的光流進(jìn)行改善，并且預(yù)測柔性可見性映射關(guān)系。最后，將輸入的兩張圖像進(jìn)行扭曲和線性融合，從而形成中間幀。
此外，Super SloMo 的光流計算網(wǎng)絡(luò)和插值網(wǎng)絡(luò)的參數(shù)，都不依賴于被插值幀的特定時間步長（時間步長被做為網(wǎng)絡(luò)的輸入）。因此，它可以并行地在兩幀之間的任意時間步長上插幀，從而突破了很多單幀插值方法的局限性。
原始 SloMo 視頻（上）Super SloMo 補幀后的超級慢動作視頻（下）
作者表示，使用他們未經(jīng)優(yōu)化的 PyTorch 代碼，在單個 NVIDIA GTX 1080Ti 和 Tesla V100 GPU 上，生成 7 個分辨率為 1280*720 的中間幀，分別只需要 0.97 秒和 0.79 秒。
為了訓(xùn)練網(wǎng)絡(luò)，作者從 YouTube 和手持?jǐn)z像機(jī)上收集了多個 240 幀的視頻。總計收集了 1100 個視頻段，由 30 萬張 1080×720 分辨率的獨立的視頻幀組成。這些視頻從室內(nèi)到室外，從靜態(tài)相機(jī)到動態(tài)相機(jī)，從日?；顒拥綄I(yè)運動，包含了各類場景。
之后在其它數(shù)據(jù)集上對模型進(jìn)行了驗證，結(jié)果表明，該研究在這些數(shù)據(jù)集上比現(xiàn)有的方法性能上有了顯著的提高。
跟著教程，一鍵實現(xiàn) Super SloMo
雖然英偉達(dá)這一論文的作者尚未公開數(shù)據(jù)集和代碼，不過，高手在民間，GitHub 上一位名為為 avinashpaliwal 的用戶，已經(jīng)開源了自己對 Super SloMo 的 PyTorch 實現(xiàn)，其結(jié)果與論文描述相差無幾。
該項目具體信息如下：
Super SloMo 超級慢動作鏡頭補幀
運行環(huán)境：PyTorch 0.4.1
語言版本：Python 3.6
訓(xùn)練可視化：TensorboardX
訓(xùn)練數(shù)據(jù)集：Adobe 240 fps
項目地址：
https://github.com/avinashpaliwal/Super-SloMo
由于模型訓(xùn)練和測試是在 PyTorch 0.4.1 和 CUDA 9.2 上完成的，所以安裝這兩個軟件必不可少，另外你還需要有一張 NVIDIA 的顯卡。
此外，模型不能直接使用視頻訓(xùn)練，因此還需要安裝 ffmpeg 從視頻中提取幀。這些準(zhǔn)備工作一切就緒后，方可下載 adobe 240fps 數(shù)據(jù)集進(jìn)行訓(xùn)練。
不過，你也可以不需要準(zhǔn)備這些，做一個安安靜靜的「伸手黨」，一鍵實現(xiàn) Super SloMo。
我們在國內(nèi)的機(jī)器學(xué)習(xí)算力容器服務(wù)平臺（https://openbayes.com）找到了相應(yīng)的教程。
從數(shù)據(jù)集到代碼再到算力，一應(yīng)俱全，即使是小白，也可以輕松上手。
教程鏈接：
https://openbayes.com/console/openbayes/containers/xQIPlDQ0GyD/overview
教程使用指南
首先注冊并登錄 https://openbayes.com/，在「公共資源」菜單下的「公共教程」中，選擇本教程——「Super-SloMo超級慢動作鏡頭的PyTorch實現(xiàn)」。
教程中樣例展示文件是 Super-SloMo.ipynb，運行這個文件，會安裝環(huán)境，并展示最終補幀而來的超級慢動作效果。
大家也可以使用自己的視頻素材，將下方生成代碼中的 lightning-dick-clip.mp4 改為你的視頻文件名。
屬性「scale」 用于控制生成視頻的倍速，比如：設(shè)為 4，即 4 倍速慢放。
生成代碼：
!python3 'Super-SloMo/eval.py' \
'lightning-dick-clip.mp4' \
--checkpoint='/openbayes/input/input0/SuperSloMo.ckpt' \
--output='output-tmp.mp4' \
--scale=4
print('Done')轉(zhuǎn)換視頻格式代碼：
!ffmpeg -i output-tmp.mp4 -vcodec libx264 -acodec aac output.mp4
該教程中，使用了網(wǎng)絡(luò)上的某段視頻，進(jìn)行 Super SloMo 插幀，得到如下結(jié)果：
4倍速慢放，看清武術(shù)動作的每一步
目前，該平臺還能薅羊毛，每周都贈送 vGPU 的使用時長，人人都可輕松完成，趕快動手試試吧！
參考資料：
https://arxiv.org/pdf/1712.00080.pdf
http://jianghz.me/projects/superslomo/https://zhuanlan.zhihu.com/p/86426432
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
