NO IMAGE

最近在看sparse and redundant representations這本書,進度比較慢,不過力爭看過的都懂,不把時間浪費掉。才看完了不到3頁吧,書上基本給出了稀疏表達的概念以及傳統的求法。我也用書中的例子來引入吧。

1:矩陣A(n*m),其中n遠遠小於m,一副圖片經過縮小或者模糊處理導致該圖片所佔用的空間變小了,此時用向量b來表示,A表示圖片所經過的處理,X代表原圖片,那麼這個就可以表示成為:

Ax=b

2:因為A是欠定的,一般情況下x的解有很多種,而我們要的是那種最稀疏的x。個人理解這個就是稀疏表達吧。

3:接下來文章引入瞭如何求x的方法,假定j(x)是求x最稀疏的函式,並且前提條件是Ax=b。用數學表達也就是

Min j(x) s.t. Ax=b

4:為了求出這個j(x),一般情況下這個j(x)對應的是x的範數||x||右下角2的平方最小值,為了求出||x||右下角2的平方最小值,我們引入了拉格朗日乘數。關於拉格朗日乘數,我在下面補充,省的再去找資料看了。

拉格朗日乘數:它是專門為某變數在其他約束條件下求極值的問題解決方案,當m個變數在K個約束條件下求極值的話,它把變成k m個數來求變數的極值,給約束條件加一個乘子即可。也就是我們上面的列出來的。

為了求出x的最小值,對x求偏導(當導數為0的地方時極值點)最終得到結果如下:

那麼X的最優化的解就是(是讓上式為0得到的):

 

 

把該值代入最初的Ax=b中可以求得拉姆達的值,然後就得到X最優化的解為:

補充:個人對稀疏表達的理解是,如果輸入為一個很複雜的A,為了得到稀疏的表達b,那麼經過一系列的操作x得到b,我覺得目的是為了得到稀疏表達的b,但是書中給出的例子是這樣,也可能我對訊號處理這些地方從沒有過接觸,導致的不太理解。。目前看了3頁書,實在覺得太難看下去了,看到一個點都要去複習幾天的書,才能夠連貫起來。。