《機器學習

1/51ページ

機器學習中的概率問題

前言 機器學習的過程可以理解為計算機通過分析大量的資料獲得模型,並通過獲得的模型進行預測的過程。機器學習的模型可以有多種表示,例如線性迴歸模型,SVM模型,決策樹模型,貝葉斯模型。   概率型別 在理解概率模型之前,首先要理解的各種概率型別所表示的確切含義。 1.先驗概率 某事件發生的概率。 2.條 […]

機器學習主題模型之LDA引數求解——Gibbs取樣

  LDA引數推導的Gibbs取樣方法基於馬爾科夫鏈蒙特卡洛方法,因此首先學習MCMC方法。 一、馬爾科夫鏈蒙特卡洛方法 MCMC(Markov Chain Monte Carlo)方法是構造適合的馬爾科夫鏈,使其平穩分佈為待估引數的後驗分佈,抽樣並使用蒙特卡洛方法進行積分計算,實現了抽樣分佈隨模擬 […]

【機器學習】logistic迴歸原理分析及python實現

【機器學習】logistic迴歸原理分析及python實現 1.sigmoid函式和logistic迴歸分類器 2.梯度上升最優化演算法 3.資料中的缺失項處理 4.logistic實現馬疝氣病預測         首先闡述logistic迴歸的定義,然後介紹一些最優化演算法,其中包括基本的梯度上升 […]

《機器學習》周志華習題4.4答案

本文主要程式碼來源於《機器學習實戰》作者:Peter harrington 一書的內容 並參考了Will-Lin的部落格:機器學習演算法的Python實現 (3):CART決策樹與剪枝處理 並對程式碼進行了一些整理和註釋,繪了幾張圖,勉強湊出本篇。 4.4試程式設計實現基於基尼指數進行劃分選擇的決策 […]

機器學習——正則化 (L1與L2範數)

文章出處:機器學習中的範數規則化之(一)L0、L1與L2範數 參考連結 今天我們聊聊機器學習中出現的非常頻繁的問題:過擬合與規則化。我們先簡單的來理解下常用的L0、L1、L2和核範數規則化。最後聊下規則化項引數的選擇問題。        監督機器學習問題無非就是“minimizeyour error […]

【機器學習】交叉熵函式的使用及推導

前言 說明:本文只討論Logistic迴歸的交叉熵,對Softmax迴歸的交叉熵類似。 minist手寫數字識別就是用交叉熵作為代價函式。 1.從方差代價函式說起 代價函式經常用方差代價函式(即採用均方誤差MSE),比如對於一個神經元(單輸入單輸出,sigmoid函式),定義其代價函式 […]