數據標準化的原因及方法

前段時間有幾個和我一樣學習數據分析師的朋友聊天，說到數據標準化的原因和方法。下面我們就具體的解釋一下？

一、為何要將數據標準化？

由于不同變量常常具有不同的單位和不同的變異程度。不同的單位常使系數的實踐解釋發生困難。例如：第1個變量的單位是kg，第2個變量的單位是cm，那么在計算絕對距離時將出現將兩個事例中第1個變量觀察值之差的絕對值（單位是kg）與第2個變量觀察值之差的絕對值（單位是cm ）相加的情況。使用者會說5kg的差異怎么可以與3cm的差異相加？

不同變量自身具有相差較大的變異時，會使在計算出的關系系數中，不同變量所占的比重大不相同。例如如果第1個變量（兩水稻品種米粒中的脂肪含量）的數值在2%到4%之間，而第2個變量（兩水稻品種的畝產量）的數值范圍都在1000與5000之間。為了消除量綱影響和變量自身變異大小和數值大小的影響，故將數據標準化。

二、數據標準化的方法： 

1、對變量的離差標準化

離差標準化是將某變量中的觀察值減去該變量的最小值，然后除以該變量的極差。即

x’ik＝[xik －Min (xk)]／Rk

經過離差標準化后，各種變量的觀察值的數值范圍都將在〔0，1〕之間，并且經標準化的數據都是沒有單位的純數量。離差標準化是消除量綱（單位）影響和變異大小因素的影響的最簡單的方法。   有一些關系系數（例如絕對值指數尺度）在定義時就已經要求對數據進行離差標準化，但有些關系系數的計算公式卻沒有這樣要求，當選用這類關系系數前，不妨先對數據進行標準化，看看分析的結果是否為有意義的變化。

2，對變量的標準差標準化

標準差標準化是將某變量中的觀察值減去該變量的平均數，然后除以該變量的標準差。即

x’ik ＝ (xik － )／sk

經過標準差標準化后，各變量將有約一半觀察值的數值小于0，另一半觀察值的數值大于0，變量的平均數為0，標準差為1。經標準化的數據都是沒有單位的純數量。對變量進行的標準差標準化可以消除量綱（單位）影響和變量自身變異的影響。但有人認為經過這種標準化后，原來數值較大的的觀察值對分類結果的影響仍然占明顯的優勢，應該進一步消除大小因子的影響。盡管如此，它還是當前用得最多的數據標準化方法。

3，先對事例進行標準差標準化，再對變量進行標準差標準化

第一步，先對事例進行標準差標準化，即將某事例中的觀察值減去該事例的平均數，然后除以該事例的標準差。即

x’ik ＝ (xik － )／si

第二步，再對變量進行標準差標準化，即將某變量中的觀察值減去該變量的平均數，然后除以該變量的標準差。即

 x’’ik ＝ (x’ik － ’k)／s’k

使用這種標準化的目的也在于消除性狀間的量綱（單位）影響和變異大小因子的影響，使性狀間具有可比性。

4，先對變量、后對事例、再對變量的標準差標準化

這種標準化的目的也在于消除性狀間的量綱（單位）影響和變異大小因子的影響，使性狀間具有可比性。具體做法是：

第一步，先對變量進行標準差標準化，即將某變量中的觀察值減去該變量的平均數，然后除以該變量的標準差。即

x’ik ＝ (xik － )／sk

第二步，后對事例進行標準差標準化，即將某事例中的觀察值減去該事例的平均數，然后除以該事例的標準差。即

 x’’ik ＝ (x’ik － ’i)／s’i

第三步，再對變量進行標準差標準化，即將某變量中的觀察值減去該變量的平均數，然后除以該變量的標準差。即

x’’’ik ＝ (x’’ik － ’’k)／s’’k

進行了前兩步之后，還要進行第三步的原因，主要是為了計算的方便。

在數據分析過程中，我們經常需要對數據進行標準化（normalization），數據標準化主要功能就是消除變量間的量綱關系，從而使數據具有可比性?？梢耘e個簡單的例子，一個百分制的變量與一個5分值的變量在一起怎么比較？只有通過數據標準化，都把它們標準到同一個標準時才具有可比性。即通過將屬性數據按照比例縮放，使之落入一個小的特定區間，如[-1,+1]、[0,1]等，以進一步分析數據的屬性。

有許多中數據標準化方法，常用的有最小-最大標準化、Z-score標準化和按小數定標標準化等。下面對數據標準化的常用方法進行了介紹：

一、Min-Max標準化

min-max標準化方法是對原始數據進行線性變換。設minA和maxA分別為屬性A的最小值和最大值，將A的一個原始值x通過min-max標準化映射成在區間【0,1】中的值，其公式為：

新數據=（原數據-極小值）/（極大值-極小值）

這種方法適用于原始數據的取值范圍已經確定的情況。

例如：假定屬性income的最小與最大值分別為$12,000和$98,000。我們想映射income到區間[0,1]。根據min-max標準化，incom值$73,600將變換為

（73,600-12,000）/（98,000-12,000）×（1-0）=0.716。

二、z-score標準化

這種方法基于原始數據的均值(mean)和標準差(standard deviation)進行數據的標準化。將屬性A的原始值v使用z-score標準化到v’的計算方法是：

新數據=（原數據-均值）/標準差

z-score標準化方法適用于屬性A的最大值和最小值未知的情況，或有超出取值范圍的離群數據的情況。

spass的默認的標準化方法就是z-score標準化。

用Excel進行z-score標準化的方法：在Excel中沒有現成的額函數，需要自己分步計算，其實標準化的公式很簡單。

步驟如下：

1、求出各變量（指標）的算術平均值（數學期望）xi和標準差si

2、進行標準化處理：zij=(xij-xi)/si。其中：zij為標準化后的變量值；xij為實際變量值。

3、將逆指標錢的正負號對調。標準化后的變量值圍繞0上下波動，大雨0說明高于平均水平，小于0說明低于平均水平。

三、Decimal scaling（小數定標標準化）

這種方法通過移動數據的小數點位置來進行標準化。小數點移動多少位取決于屬性A的取值中的最大絕對值。將屬性A的原始值x使用decimal scaling標準化到y’的計算方法是：y=x/(10*j)     其中，j是滿足條件的最小整數。

例如 假定A的值由-986到917，A的最大絕對值為986，為使用小數定標標準化，我們用1000（即，j=3）除以每個值，這樣，-986被規范化為-0.986。

注意，標準化會對原始數據做出改變，因此需要保存所使用的標準化方法的參數，以便對后續的數據進行統一的標準化。數據分析師認證培訓