優化演算法

1/2ページ

牛頓法及牛頓法求解優化問題

牛頓法及牛頓法求解優化問題 牛頓法 1. 由來和基本思想 牛頓法也叫牛頓迭代法和牛頓-拉夫森法 1. 牛頓迭代法:因為牛頓法的是通過迭代來實現的,每次運算都讓結果比之前好一點。哪怕只好一點點,在很多次迭代之後也可以得到一個很好的結果甚至最優或期望的結果。迭代就是我們常說的積土成山,積善成德。 2. […]

優化演算法之引力搜尋演算法

優化演算法之引力搜尋演算法(gravitational search algorithm),主要是利用兩物體之間的引力定律進行指導各個粒子的運動優化搜尋最優解的,兩個粒子之間的引力與兩個粒子的質量成正比,與兩粒子之間的距離成反比,該優化演算法中引力及其相關引數的計算公式如下: 每個粒子在各個方向(維 […]

動態規劃(dynamic programming)初步入門

通過金礦模型介紹動態規劃        點選下載01揹包測試資料.rar                 對於動態規劃,每個剛接觸的人都需要一段時間來理解,特別是第一次接觸的時候總是想不通為什麼這種方法可行,這篇文章就是為了幫助大家理解動態規劃,並通過講解基本的01揹包問題來引導讀者如何去思考動態規 […]

吳恩達 深度學習 程式設計作業(2-2)- Optimization Methods

吳恩達Coursera課程 DeepLearning.ai 程式設計作業系列,本文為《改善深層神經網路:超引數除錯、正則化以及優化 》部分的第二週“優化演算法”的課程作業,同時增加了一些輔助的測試函式。 另外,本節課程筆記在此:《 吳恩達Coursera深度學習課程 DeepLearning.ai […]

優化演算法:牛頓法

我們在接觸具體的機器學習演算法前,其實很有必要對優化問題進行一些介紹。 
隨著學習的深入,筆者越來越發現最優化方法的重要性,學習和工作中遇到的大多問題都可以建模成一種最優化模型進行求解,比如我們現在學習的機器學習演算法,大部分的機器學習演算法的本質都是建立優化模型,通過最優化方法對目標函式(或損失函 […]

優化演算法——粒子群演算法(PSO)

一、粒子群演算法的概述     粒子群演算法(PSO)屬於群智慧演算法的一種,是通過模擬鳥群捕食行為設計的。假設區域裡就只有一塊食物(即通常優化問題中所講的最優解),鳥群的任務是找到這個食物源。鳥群在整個搜尋的過程中,通過相互傳遞各自的資訊,讓其他的鳥知道自己的位置,通過這樣的協作,來判斷自己找到的 […]

標準粒子群演算法(PSO)及其Matlab程式和常見改進演算法

一、 粒子群演算法概述 粒子群優化演算法(PSO)是一種進化計算技術(evolutionary computation),1995 年由Eberhart 博士和kennedy 博士提出,源於對鳥群捕食的行為研究 。該演算法最初是受到飛鳥叢集活動的規律性啟發,進而利用群體智慧建立的一個簡化模型。粒子群 […]

優化演算法——梯度下降法

一、優化演算法概述     優化演算法所要求解的是一個問題的最優解或者近似最優解。現實生活中有很多的最優化問題,如最短路徑問題,如組合優化問題等等,同樣,也存在很多求解這些優化問題的方法和思路,如梯度下降方法。     機器學習在近年來得到了迅速的發展,越來越多的機器學習演算法被提出,同樣越來越多的 […]