SPSS神經網絡心得（一）

SPSS神經網絡，是一個非線性的數據建模工具集合，包括輸入層和輸出層、一個或者多個隱藏層。神經元之間的連接賦予相關的權重，訓練算法在迭代過程中不斷調整這些權重，從而使得預測誤差最小化并給出預測精度。包括多層感知器（MLP）和徑向基函數（RBF）兩種方法。本人只研究了多層感知器的方法。

使用SPSS神經網絡，可以將數據拆分成訓練集、測試集、驗證集。訓練集用來估計網絡參數；測試集用來防止過度訓練。驗證樣本用來單獨評估最終網絡。

多層感知器（MLP）

MLP通過多層感知器來擬合神經網絡。多層感知器是一個前饋式有監督的結構。它可以包含多個隱藏層、一個或者多個因變量。

變量

因變量：在函數關系式中，某特定的數會隨一個（或幾個）變動的數的變動而變動。

協變量：在實驗的設計中，協變量是一個獨立變量（解釋變量），不為實驗者所操縱，但仍影響實驗結果。協變量可以進行重標度：標準化（A）、標準化、調整標準化。

? 標準化（A）。 減去均值并除以標準差，(x?均值)/s。
? 標準化。 減去均值并除以范圍，(x?min)/(max?min)。標準化值介于 0 和 1 之間。
? 調整標準化。 減去最小值并除以范圍所得到的調整版本，[2*(x?min)/(max?min)]?1。調整的標準化值介于 ?1 和 1 之間。

分區

分區數據集。 此組指定將活動數據集劃分為訓練集、測試集或驗證集的方法。訓練集包含用于訓練神經網絡的數據記錄；數據集中的某些個案百分比必須分配給訓練樣本以獲得一個模型。測試集是一個用于跟蹤訓練過程中的錯誤以防止超額訓練的獨立數據記錄集。強烈建議您創建一個訓練集，并且如果測試集小于訓練集，網絡訓練通常最高效。驗證集是另一個用于評估最終神經網絡的獨立數據記錄集。
? 根據個案的相對數量隨機分配個案。 指定隨機分配到每個樣本（訓練、測試和驗證）的個案的相對數量（比率）。% 列根據您已經指定的相對數量，報告將被分配到每個樣本的個案的百分比。
例如，指定 7、3、0 作為訓練、檢驗和堅持樣本的相對數量對應于 70%、30% 和 0%。指定 2、1、1 作為相對數量對應 50%、25% 和 25%；1、1、1 對應將數據集在訓練、檢驗和堅持中分為相等的三部分。
? 使用分區變量分配個案。 指定一個將活動數據集中的每個個案分配到訓練、檢驗和堅持樣本中的數值變量。變量為正值的個案被分配到訓練集中，值為 0 的個案被分配到測試集中，而負值個案被分配到驗證集中。具有系統缺失值的個案會從分析中排除。分區變量的任何用戶缺失值始終視為有效。

體系結構

“體系結構”選項卡用于指定網絡結構。該過程可以自動選擇“最佳”體系結構，或者也可以指定自定義體系結構。

隱藏層
隱藏層包含無法觀察的網絡節點（單位）。每個隱藏單位是一個輸入權重總和的函數。該函數是激活函數，而且權重值由估計算法確定。如果網絡包含第二個隱藏層，第二個層中的每個隱藏單位是第一個隱藏層中權重之和的函數。兩個層使用相同激活函數。
隱藏層數. 一個多層感知器可以有一個或兩個隱藏層。
激活函數. 激活函數將某個層中的單位的加權和“關聯”到下一層的單位值。
? 雙曲正切。 此函數格式：γ(c) = 此函數格式：γ(c) =>

? Sigmoid。 此函數格式：γ(c) = 1/(1+e^(?c))。其取實數值參數并將其變換到（0、1）范圍。
單位數. 可以明確指定或由估計算法自動確定每個隱藏層中的單元數。
輸出層
輸出層包含目標（因）變量。
激活函數.激活函數將某個層中的單位的加權和“關聯”到下一層的單位值。
? 恒等。 此函數格式：γ(c) = c。其取實數值參數并且其返回值保持不變。使用自動體系結構選擇時，如果存在刻度因變量，則此為輸出層中所有單位的激活函數。
? Softmax。 其取實數值參數的矢量，并將其變換到元素介于（0、1）范圍的矢量，和為 1。只有所有因變量是分類變量時，才可以使用 Softmax。使用自動體系結構選擇時，如果所有因變量是分類變量，此為輸出層中所有單位的激活函數。
? 雙曲正切
? Sigmoid
尺度因變量重標度。 至少選擇一個刻度因變量時才可以使用這些控制。

如果輸出層使用 sigmoid 激活函數，則此為刻度因變量所需的重標度方法。修正值選項指定一個較小數字 ε，并將其作為修正值應用于重標度公式中；此修正值確保所有重標度因變量值介于激活函數范圍。具體來說，當 x 取最小值和最大值時，未修正的公式中的值 0 和 1 將定義 sigmoid 函數的范圍限制，但是不介于該范圍之內。修正公式為 [x?(min?ε)]/[(max+ε)?(min?ε)]。請指定大于等于 0 的數。

如果輸出層使用雙曲正切激活函數，則此為刻度因變量所需的重標度方法。修正值選項指定一個較小數字 ε，并將其作為修正值應用于重標度公式中；此修正值確保所有重標度因變量值介于激活函數范圍。具體來說，當 x 取最小值和最大值時，未修正的公式中的值? 1 和 1 將定義雙曲正切函數的范圍限制，但是不介于該范圍之內。修正公式為 {2*[(x?(min?ε))/((max+ε)?(min?ε))]}?1。指定一個大于或等于 0 的數字。

培訓 
“培訓”選項卡用于指定如何培訓網絡。培訓的類型和優化算法確定哪個培訓選項可用。

培訓類型。 培訓類型確定網絡如何處理記錄。從下列培訓類型中選擇：
? 批處理。 只有傳遞所有培訓數據記錄之后才能更新鍵結值；也就是說，批處理培訓使用培訓數據集中所有記錄信息。批處理培訓通常為首選方法，因為它直接使總誤差最??；然而，批處理培訓可能需要多次更新權重，直至滿足其中一條中止規則，因此可能需要傳遞數據多次。其對于“較小”數據集最有用。
? 在線。 在每一個培訓數據記錄之后更新鍵結值；也就是說，在線培訓一次使用一個記錄信息。在線培訓連續獲取記錄并更新權重，直至滿足其中一條中止規則。如果一次使用所有記錄，而且不滿足任何中止規則，那么該過程通過循環數據記錄繼續。對于與預測變量相關的“較大”數據集，在線培訓要優于批處理；也就是說，如果有許多記錄和輸入，并且其值之間不相互獨立，那么在線培訓可以比批處理培訓更快獲取一個合理答案。
? 袖珍型批處理。 將培訓數據記錄劃分到大小近似相等的組中，然后在傳遞一組之后更新鍵結值；也就是說，袖珍型批處理培訓使用一組記錄信息。然后，如果需要，該過程循環數據組。袖珍型批處理培訓提供介于批處理培訓和在線培訓之間的折中方法，它可能最適于“中型”數據集。該過程可以自動確定每個袖珍型批處理培訓記錄的數目，或者您可以指定一個大于 1 并小于或等于將存儲到內存的個案的最大數目的整數。您可以在選項選項卡上設置將存儲到內存的個案最大數目。
優化算法。 這是一種用于估計鍵結值的方法。
? 調整的共軛梯度。 使用共軛梯度方法對齊的假設僅應用于批處理培訓類型，所以此方法不適用于在線培訓或袖珍型批處理培訓。
? 梯度下降。 此方法需與在線培訓或袖珍型批處理培訓共同使用；也可以與批處理培訓共同使用。
培訓選項。 該培訓選項允許您細微調整優化算法。您一般無需更改這些設置，除非網絡出現估計問題。