成績統計不能統計

1/3ページ

《統計學習方法》學習筆記(4)–k近鄰法及常用的距離(or 相似度)度量

一、k近鄰法基礎知識 1. 特徵空間中兩個例項點的距離反應了兩個例項點的相似程度。 2. k近鄰模型三要素 = 距離度量(有不同的距離度量所確定的最鄰近點不同) k值的選擇(應用中,k值一般取一個比較小的值,通常採用交叉驗證法來確定最優k值) 分類決策規則(往往是多數表決規則(majority vo […]

統計學習方法-牛頓法和擬牛頓法

牛頓法和擬牛頓法   牛頓法和擬牛頓法是求解無約束最優化問題的常用方法,有收斂速度快的優點。牛頓法是迭代演算法,每一步需要求解目標函式的海賽矩陣的逆矩陣,計算比較複雜。擬牛頓法通過正定矩陣近似海賽矩陣的逆矩陣或海賽矩陣,簡化了計算過程。 一、背景 Taylor展式 若f(x)二階導連續,將f(x)在 […]

統計學習方法——K近鄰模型

0. 寫在前面 在這一講的討論班中,我們將要討論一下K近鄰模型。可能有人會說,K近鄰模型有什麼好寫的,那分明就是一個最簡單的機器學習模型,哦,不,連機器學習也算不上的演算法吧。但是這裡,我想提醒的是,我們要討論的,不僅僅是簡單的K近鄰模型,而是和它相關的一些有困惑的話題。 1. K近鄰定義 k近鄰演 […]

統計學習方法三要素:模型、策略、演算法

在讀李航的《統計學習方法》,記錄一些讀書筆記: (一)總覽 統計學習方法三要素:模型、策略、演算法: (二)一些細節 機構風險其實就是經驗風險加上懲罰項: 定義如下: 等式右邊第一項是經驗風險,最後面一項就是懲罰項,其中J(f)為模型複雜度。 結論: 想要結構風險小,必須經驗風險與模型複雜度同時小, […]

統計學習筆記(3)——k近鄰法與kd樹

        在使用k近鄰法進行分類時,對新的例項,根據其k個最近鄰的訓練例項的類別,通過多數表決的方式進行預測。由於k近鄰模型的特徵空間一般是n維實數向量,所以距離的計算通常採用的是歐式距離。關鍵的是k值的選取,如果k值太小就意味著整體模型變得複雜,容易發生過擬合,即如果鄰近的例項點恰巧是噪聲, […]

統計學習筆記(1)——統計學習方法概論

1.統計學習         統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行預測與分析的一門學科,也稱統計機器學習。統計學習是資料驅動的學科。統計學習是一門概率論、統計學、資訊理論、計算理論、最優化理論及電腦科學等多個領域的交叉學科。         統計學習的物件是資料,它從資料 […]

<統計學習方法>6 隱馬爾可夫模型

隱馬爾科夫模型(Hidden Markov Model, HMM)是可用於標註問題的統計學模型 描述由隱藏的馬爾科夫鏈隨機生成觀測序列的過程,屬於生成模型。 隱馬爾可夫模型基本概念 定義 隱馬爾科夫模型是關於時序的概率模型,描述由一個隱藏的馬爾科夫鏈隨機生成不可觀測的狀態隨機序列,再由各個狀態生成一 […]