神經網絡測試結果很差，該怎么做

當我們編程實現了神經網絡模型，將模型用于測試集時，經常會發現測試的準確率非常的低，神經網絡層數很深，通常我們不容易判斷具體的梯度下降求解參數的過程，那我們該怎么辦呢？從機器學習視頻中總結的辦法??！小程序親身體驗過！

首先要明白，測試集上的準確率低并不一定是過擬合。有可能在訓練集上準確率就很低，也就是說你的模型壓根沒有訓練好??！

所以：首先，要用訓練好的模型在訓練集上跑一遍，如果在訓練集上準確率就很低，那么就不是過擬合，而是欠擬合。

原因是在梯度下降求導時，卡在了local minima（在求導為0，是極小值）,saddle point（求導為0，不是極小值）,plateau（求導近似為0）上。

解決這個問題可以有兩個做法：1是改變激活函數；2是改變梯度下降求導方式；后邊會詳細講。

然后：如果在訓練集上準確率很好，在測試集上準確率低，那么就是過擬合(overfitting)。

解決辦法是：1是早點停止梯度更新；2是更多的數據（通過數據增強獲得更多數據）;3是正則化（l1-torm和l2-torm）;4是Dropout方法。下邊將詳細介紹。

解決欠擬合的1方法：改變激活函數。一定程度上，欠擬合是因為激活函數選擇了sigmoid函數。對于sigmoid函數來說，致命的問題就是梯度消失，sigmoid會衰減輸入。梯度消失的含義是：在靠近輸出層的參數更新梯度很大，在靠近輸入層的參數更新梯度很小，導致在學習率一致的情況下，在靠近輸出層的后幾層參數更新快，在已經收斂的時候，靠近輸入層參數更新很慢，還是接近隨機狀態，使得靠近輸出層參數接收的input接近隨機。

我們換用RELU激活函數就可以解決梯度消失的問題。在input<0時，output = 0， 在input>0時，output = input，這樣在計算時，參數會少于整體神經元個數，RELU計算很快。Leaky RELU、Parametric RELU等是RELU的變種，用RELU可以解決一般欠擬合。

另外maxout也是一種激活函數，RELU是maxout的一種特例，它可以實現每個神經元都有自己不同的激活函數，但是maxout參數多于其他激活函數（因為每有一個輸出，都要在一組給定數目的輸出（參數）中選擇一個最大的作為輸出，而其他的激活函數，都是給一組參數，產生一個輸出）。雖然參數變多了，但是在訓練時，我們梯度下降只更新一組輸出中選出的那個輸出對應的參數?。。?！并且訓練集數據很多，每個數據都會梯度更新不同的參數。maxout是根據數據自動學習權重，模型參數訓練好了，模型固定了，也就得到不同的激活函數。

解決欠擬合方法2：改變梯度下降策略；

可以嘗試其他的梯度下降函數，比如Adagrad、RMSProp、Momentum、Adam(=Momentum+RMSProp),它們按照一定權重考慮了新梯度值和舊梯度值。