Tensorflow中用VGG19做二分類loss出現0.693174解決方法2

NO IMAGE
1 Star2 Stars3 Stars4 Stars5 Stars 給文章打分!
Loading...

接上次相同題目的blog,發現權重加了l2正則化後,開始的loss很大,逐漸收斂到0.693174後不變……


在Tensorflow下用VGG19 pre-train的model跑一個人臉表情庫,做一個二分類。
出現loss除了迭代的第一個值,其餘輸出均是0.693174
我用的梯度下降演算法是Adam


解決方法:
將梯度下降演算法改為SGD Momentum(0.9)
開始時loss在0.693174上下浮動,隨著迭代次數增多,loss逐漸收斂。

另外:對於分類問題,通常用SGD Momentum做梯度下降效果要比Adam好

相關文章

程式語言 最新文章