knn損失函式

損失函式中正則化項L1和L2的理解(二)

今天我們聊聊機器學習中出現的非常頻繁的問題:過擬合與規則化。我們先簡單的來理解下常用的L0、L1、L2和核範數規則化。最後聊下規則化項引數的選擇問題。這裡因為篇幅比較龐大,為了不嚇到大家,我將這個五個部分分成兩篇博文。知識有限,以下都是我一些淺顯的看法,如果理解存在錯誤,希望大家不吝指正。謝謝。   […]

損失函式(Loss function)和代價函式(成本函式)(Cost function)的區別與聯絡

1.損失函式(Loss function)是定義在單個訓練樣本上的,也就是就算一個樣本的誤差,比如我們想要分類,就是預測的類別和實際類別的區別,是一個樣本的哦,用L表示 2.代價函式(Cost function)是定義在整個訓練集上面的,也就是所有樣本的誤差的總和的平均,也就是損失函式的總和的平均, […]