奇異值分解SVD的理解與應用

為更好的理解這篇文章，現在這里列出幾個文中出現的概念，想要更深的理解這些概念，可以看我的另一篇文章：關于特征值的理解。

向量的內積：兩向量a=[a1,a2,…,an]和b=[b1,b2,…,bn],其內積為 a?b=a1b1+a2b2+……+anbn。

特征值與特征向量：對一個m×m矩陣A和向量x，如果存在λ使得下式成立，Ax＝λx，則稱λ為矩陣A的特征值，x稱為矩陣的特征向量。

對角矩陣：對角矩陣是除對角線外所有元素都為零的方陣。

正交矩陣：正交是一個方塊矩陣V，行與列皆為正交的單位向量，即Vn×nVTn×n＝In，使得該矩陣的轉置矩陣為其逆矩陣，VT＝V?1。

直接進入正題，矩陣當中有一個非常著名的理論，即：

一個n×n的對稱矩陣A可以分解為：A=VDVT。其中，V是一個n×n正交矩陣，并且列向量是矩陣A的特征向量；D是一個n×n對角矩陣，并且對角線上的值為對應特征向量的特征值。

上面的理論是針對一個n×n的對稱矩陣，那么對于任意的一個m×n的矩陣A，有沒有類似的表達方法呢。答案是肯定的，svd正是用來解決這個問題的。

對任意一個m×n的矩陣A，可以將其分解為：A＝USVT。其中U是一個m×m的正交矩陣；S是一個m×n的矩陣，其主對角元素≥0，非主對角元素均為0；V是一個n×n的正交矩陣。

關于svd的證明過程，似乎更多是數值上的工作，本文想給出更多intuitive上的理解。想要了解證明的可以參考這篇論文：Kalman D. A singularly valuable decomposition: the SVD of a matrix。

這樣，對任意一個矩陣，我都可以分解成三個矩陣的內積。讓我們看一下它有什么神奇的性質。

AAT＝USVTVSTUT＝USSTUT＝UDUT(1)

由于V是一個正交矩陣，VT＝V?1，所以VT＊V＝I。S只有主對角元素不為0，那么SST的結果為一個m×m的對角矩陣D。而雖然A是任意的一個m×n的矩陣，但AAT是一個m×m的對稱矩陣。這樣一看，AAT=UDUT是不是和前面那個理論非常相似。那么U的列向量應該是對稱矩陣AAT的特征向量，D應該是一個對角矩陣，且對角線上值是對稱矩陣AAT的特征值。

ATA＝VSTUTUSVT＝VSTSVT＝VWVT(2)

同樣，V的列向量則是對稱矩陣ATA的特征向量,而W則是一個n×n的對角矩陣。這里W和D實際上是相同的，只是對角線上后面的0的數量不一樣。

可以看出，矩陣S主對角線上的值，實際上是對稱矩陣AAT或ATA特征值的平方根。

所以，實際上svd是一個矩陣分解方法，對于任意一個m×n的矩陣A，svd都可以將其分解成為A＝USVT。其中矩陣U的列向量是對稱矩陣AAT的特征向量，稱作左奇異矩陣；矩陣V的的列向量是對稱矩陣ATA的特征向量；S是一個m×n的矩陣，主對角線上的值是對稱矩陣AAT或ATA特征值的平方根，稱作奇異值，且非對角線上的值為0.

不知道寫到這里，大家是不是對svd有了一個比較具體的印象。然而，上面只是從數學上解釋了svd的構成，我們好奇的是，從很多地方，我們都聽到了svd，即使如上面所述，它長的是這個樣子，但是我們它到底可以用來做什么事情呢？

下面我們舉幾個svd的實際應用，加深我們對它的理解。

1）有損的數據壓縮
假設我們有一個m×n的矩陣A，它表示一組數據