最優化演算法

模擬退火演算法引數分析

模擬退火演算法引數分析 一  模擬退火演算法介紹 模擬退火演算法是一種尋找全域性最優解的優化方法,核心思想就是以一定概率接收差解,並且這個概率會隨著退火溫度逐漸降低。一個比較形象的比喻是:一個鍋底凹凸不平有很多坑的大鍋,晃動這個鍋使得一個小球使其達到全域性最低點。一開始晃得比較厲害,小球的變化也就比 […]

模擬退火演算法例子

求解某一個方程fun(x)的極小值,很常見的以一種情況是當前的x不管增大還是減小,函式值fun(x)均是增大,這時x就是極值。這是一種完完全全的貪心演算法。這樣求出的極小值,並不一定整段函式的全域性極小值,而極可能是區域性極小值。 例如下圖   可以看出,有三個點,均是極小值點,在這是三個點處,不管 […]

非線性規劃MATLAB程式碼

    下面是三個非線性規劃領域的演算法。課堂上給予了詳細的講解,在實踐環節讓學生程式設計實現,從而可以實驗複雜一些的例子,加深對演算法的理解。下面共有四個程式grad,simplelinesearch,bfgs和phr,全部使用MATLAB語言編寫。這些程式碼遠未完善,可修改餘地很大,僅供教學之用 […]

近端梯度法(Proximal Gradient Method, PG)

近端梯度法(Proximal Gradient Method ,PG) 演算法簡介   近端梯度法是一種特殊的梯度下降方法,主要用於求解目標函式不可微的最優化問題。如果目標函式在某些點是不可微的,那麼該點的梯度無法求解,傳統的梯度下降法也就無法使用。PG演算法的思想是,使用臨近運算元作為近似梯度,進 […]

最優化演算法重製版

如果下面圖片出不來請到https://www.bilibili.com/read/cv248864,都是我寫的 一維搜尋對函式的一個要求,不能是有多個極小值的情況,是單峰函式即可,函式沒有要求可導和連續,函式只需要滿足有一個極小點。 一維搜尋縮小區間的一個基本原理 圖中解釋的很清楚,我就不再多說 1 […]