統計學習方法

1/3ページ

線性迴歸的損失函式與邏輯迴歸的損失函式

一、線性迴歸損失函式的兩種解釋 線性迴歸的損失函式是平方損失函式,為什麼使用平方的形式,參考:線性迴歸損失函式為什麼要用平方形式,講得很清楚。 線上性迴歸中,對於訓練資料樣本(xi,yi)(x_i,y_i),我們有如下的擬合直線: yiˆ=θ⋅xi \widehat{y_i}=\theta\cdot […]

感知機–模型與策略

看到模型和策略,應該很快聯想到了李航的《統計學習方法》,統計學習方法的三要素定義為:模型、策略、演算法。 感知機 感知機是二分類的線性分類模型,輸入為例項的特徵向量,輸出為例項的類別(取 1和-1)。感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面,為求得超平面匯入了基於誤 […]

統計學習方法——K近鄰模型

0. 寫在前面 在這一講的討論班中,我們將要討論一下K近鄰模型。可能有人會說,K近鄰模型有什麼好寫的,那分明就是一個最簡單的機器學習模型,哦,不,連機器學習也算不上的演算法吧。但是這裡,我想提醒的是,我們要討論的,不僅僅是簡單的K近鄰模型,而是和它相關的一些有困惑的話題。 1. K近鄰定義 k近鄰演 […]

統計學習方法之k近鄰法:kd樹

k近鄰就像近朱者赤近墨者黑一樣,李航老師的《統計學習方法》中k近鄰模型由距離度量、k值的選擇和分類決策規則決定。個人覺得就很像判斷一個人的性格,先選定一個他的交際範圍(即k值),然後計算周圍人和他的親密關係(即距離度量),最後根據某個決策規則判斷他的性格(分類決策規則)。 簡單實現一下書中例題的平衡 […]