Recent Advances in Convolutional Neural Networks

Recent Advances in Convolutional Neural Networks
1 Star2 Stars3 Stars4 Stars5 Stars 給文章打分!
Loading...

這篇部落格是對Recent Advances in Convolutional Neural Networks這篇論文的一個解讀感悟,不是翻譯,只是解讀。

簡介

CNN從AlexNet,到VGG,GoogleNet,再到ResNet,網路層次不斷在加深,而且拓撲結構也越來越複雜,其面臨的目標優化、過擬合等問題也越來越難解決。

基本概念

卷積

這裡寫圖片描述
卷積其實就是一個不斷滑動的矩陣對應位置的點乘(不考慮旋轉180°),然後加上bias,式中 l 表示層,i, j表示位置, k表示神經元序號。

啟用層

這裡寫圖片描述
啟用層一般是原地操作,不需要與鄰域相關,a表示一個非線性函式。(為什麼要非線性?呵呵,如果是線性的,那麼大家都是線性,疊加起來不還是線性嗎?最後網路只學到了一個線性對映,特徵表達能力太有限了吧?)

Pooling層

這裡寫圖片描述
Pooling可以下采樣,使得特徵更稀疏,更顯著(這是我的理解,原文沒講)。


未完待續

相關文章

程式語言 最新文章