深度學習入門課程學習筆記02 得分函數

前向傳播之-得分函數

劇透:深度學習必備的兩個大知識點分別是前向傳播和反向傳播啦，這里節課我們會先著手把前方傳播的所涉及的所有知識點搞定！我相信這部分對于咱們即便沒有什么基礎的同學來說也是很容易理解的。

得分函數：這個就是咱們這節課最核心的一個問題啦。什么叫得分函數呢？下面這個圖就給了我們一個最直接的答案！

得分函數的目的：我們要做的就是對于一個給定的輸入，比如一張小貓的圖片，通過一系列復雜的變換（中間的過程咱們暫且當做一個黑盒子）能得到這個輸入對應于每個類別的得分數值。

可能有些同學對于一個輸入的圖片如何計算出它的得分還有點困惑，這里我簡單的來說一下從輸入到輸出的一個矩陣計算過程。

矩陣求解過程理解：首先對于一個32*32*3的輸入，我們把它拉伸成一個列向量，也就是一個3072*1的向量，咱們下面用最簡單的線性分類來解釋整個過程，在線性分類中，我們需要權重參數W和B，那么W是整個線性分類的核心參數，我們要把一個輸入分成10個類別并且對于每個類別給定一個得分數值，這樣咱們的W參數矩陣就是一個10*3072的矩陣，我們可以通俗的理解成對于每一個類別我們都有3072個小參數去和咱們的輸入（3072維的列向量）去計算最終的的分值，那么10就是我們最終要輸入多少個類別。參數B就很好理解啦，這里咱們就不說啦。

得分函數計算實例：上圖就是一個得分函數計算的最簡單的一個流程，我們假設圖像是有4個像素點組成的，然后咱們把它拉成了一個列向量（Xi），權重參數W是一個3*4的矩陣，因為咱們要把輸入分成三個類別，最終再加上參數b得到了最終這只小貓屬于每個類別的得分數值。

理解參數W和b:下面咱們再通過這張圖來形象的理解下參數W和b,在真實的情況下對于每一個類別的參數W是一個3072維的，但是咱們為了形象化理解把它畫在了2維的空間中，我們可以從圖中看到三種顏色的線代表了三個線性分類器，參數W的每一個小權重的改變（共有3072個小權重）意味著這條線在改變的小參數的那個維度發生了偏轉，我們可以想象2維空間中對于W的改變意味著什么然后再去想象這個3072維的空間。那么這個b參數是不是就沒用呢？（有用你干嘛一直不說？）其實參數b是比不可少的，因為如果沒有b那么所有的分類線都會交集與零點，這顯然是不可取的嘛。

小總結：咱們這節課很輕松吧，但是如何從一個輸入計算出它最終屬于每一個類別的得分在一個實際的深度學習網絡中可沒這么簡單就搞定，我這樣做只是讓大家能更好的理解這個得分函數。