卷積神經(jīng)網(wǎng)絡(luò)性能優(yōu)化
發(fā)布人：數(shù)據(jù)派THU
時(shí)間：2022-03-13
來源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫查詢
來源：AI蝸牛車、極市平臺(tái)
作者丨黎明灰燼
來源｜https://zhuanlan.zhihu.com/p/80361782
卷積（Convolution）是神經(jīng)網(wǎng)絡(luò)的核心計(jì)算之一，它在計(jì)算機(jī)視覺方面的突破性進(jìn)展引領(lǐng)了深度學(xué)習(xí)的熱潮。卷積的變種豐富，計(jì)算復(fù)雜，神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)大部分時(shí)間都耗費(fèi)在計(jì)算卷積，網(wǎng)絡(luò)模型的發(fā)展在不斷增加網(wǎng)絡(luò)的深度，因此優(yōu)化卷積計(jì)算就顯得尤為重要。
隨著技術(shù)的發(fā)展，研究人員提出了多種優(yōu)化算法，包括 Im2col、Winograd 等等。本文首先定義卷積神經(jīng)網(wǎng)絡(luò)的概念，繼而簡要介紹幾種常見的優(yōu)化方法，并討論作者在該領(lǐng)域的一些經(jīng)驗(yàn)。
- 大部分時(shí)間都耗費(fèi)在計(jì)算卷積鏈接：https://arxiv.org/abs/1807.11164
- Im2col 鏈接：https://www.mathworks.com/help/images/ref/im2col.html
- Winograd 鏈接：https://www.intel.ai/winograd/#gs.avmb0n
卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Networks, CNN）的概念拓展自信號(hào)處理領(lǐng)域的卷積。信號(hào)處理的卷積定義為 (1)
由于對(duì)稱性 卷積計(jì)算在直覺上不易理解，其可視化后如圖一所示。圖中紅色滑塊在移動(dòng)過程中與藍(lán)色方塊的積繪制成的三角圖案即為卷積結(jié)果 (
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
