作者 | George Seif

編譯 | 廖琴 孫夢琪

來源 | 讀芯術

數據科學家都應該知道如何有效地使用數據并從中獲取信息。下面是小編整理的五大實用型統計學概念，每個數據科學家都應該熟知，它們能讓你在數據科學領域發揮得更加行云流水。

從定義來看，數據科學實際上指的是從數據中獲取信息的過程。數據科學旨在解釋所有數據在現實世界中的意義，而不僅僅局限于數字層面。

為了提取嵌入在復雜數據集中的信息，數據科學家使用了許多工具和技術，包括數據探索、可視化和建模。在數據探索中常用的一類非常重要的數學技術是統計學。

從實踐層面上講，采用統計學使人們能夠對數據進行具體的數學總結。人們可以使用統計數據來描述部分數據的屬性，而不必試圖描述每個數據點。通常這就足以提取一些關于數據結構和組成的信息。

有時候，在聽到“統計學”這個詞時，人們總會想得過于復雜。的確，它可能是有點抽象，但并不總是需要借助復雜的理論來從統計技術中獲得有價值的內容。

最基本的統計學知識往往在數據科學中最有實用價值。

本文為大家介紹5個用于數據科學的實用統計學知識。它們不是令人抓狂的抽象概念，而是極為簡單的、可以應用的技術，且前景很好。

那么開始吧！

1. 集中趨勢

數據集或特征變量的集中趨勢是指集的中心值或典型值。也就是說，可能存在一個值可以(在一定程度上)最充分地描述數據集。

例如，假設正態分布以(100,100)為中心。那么點(100,100)就是中心趨勢，因為在所有可選擇的點中，它總結數據的效果最佳。

對于數據科學，可以使用集中趨勢測度快速簡單地了解整體數據集。數據的“中心”可能是非常有價值的信息，可以說明數據集究竟是如何產生偏差的，因為數據所圍繞的任何值本質上都是有偏差的。

在數學上有兩種常見的選擇集中趨勢的方法。

平均數

數據集的平均數指整個數據集圍繞分布的一個平均數值。在定義平均值時，所有用于計算平均數值的權重都是相等的。

例如，計算以下5個數字的平均數：

(3 + 64 + 187 + 12 + 52) / 5 = 63.6

平均值對于計算實際的數學平均數非常有用。使用像Numpy這樣的Python庫計算也非?？?。

中位數

中位數是數據集的中間值。也就是說，如果把數據從小到大(或者從大到小)排序，然后取集的中間值:這便是中位數。

接下來再次計算相同的5個數的中位數：

[3, 12, 52, 64, 187]→52

中位數與平均數63.6相差很大。二者沒有對錯之分，可視情況和目的選擇其一。

計算中位數需要對數據進行排序——如果數據集很大，這就不實用了。

另一方面，中位數對離群值的魯棒性要強于平均數，因為如果有一些非常高的離群值，平均數就會偏大或偏小。

平均數和中位數可以用簡單的numpy單行代碼計算：

numpy.mean(array)

numpy.median(array)

2. 分布

在統計學中，數據分布是指在更大的范圍內，數據集中趨向一個或多個值的程度。

看看下面的高斯概率分布圖——假設這些是描述真實世界數據集的概率分布。

藍色曲線的擴展值最小，因為其大部分數據點都在一個相當窄的范圍內。紅色曲線的擴展值最大，這是因為大多數數據點所占的范圍要大得多。

圖中顯示了這些曲線的標準差值，下一節中將進行解釋。

標準差

標準差是量化數據分布最常見的方法。計算分五步進行：

1.求平均數。

2.求每個數據點到平均數距離的平方。

3.對步驟2中的值進行求和。

4.除以數據點的個數。

5.取平方根。

值越大意味著數據離平均數更“分散”。值越小意味著數據更集中在平均值附近。

用Numpy很容易就能計算出標準差：

numpy.std(array)

3. 百分數

百分數可用于進一步描述范圍內每個數據點的位置。

百分數根據數據點在值范圍中的位置高低來描述數據點的確切位置。

更準確地說，第p個百分位是數據集中的值，在該值處可以將其分為兩部分。下半部分包含p %的數據，即第p個百分位。

例如，看下列11個數字：

13 5 7 9 11 13 15 17 19 21

數字15是第70百分位，因為當在數字15處將數據集分成兩部分時，剩余70%的數據小于15。

百分數與平均數和標準差相結合，可以讓人們很好地了解特定的點在數據分布/數據范圍內的位置。如果它是一個異常值，那么它的百分數將接近于終點——小于5%或大于95%。另一方面，如果百分位數計算結果接近50，那么可知其接近集中趨勢。

數組的第50百分位可以用Numpy來計算，代碼如下:

numpy.percentile(array, 50)

4. 偏態

數據偏態用于衡量數據的不對稱性。

正偏態表示值集中在數據點中心的左側;負偏度表示值集中在數據點中心的右側。

下圖充分說明了這一點。

下面的公式可用于計算偏態：

偏態可說明數據分布與高斯分布的差距。偏態越大，數據集離高斯分布越遠。

這很重要，因為若對數據的分布有一個粗略的概念，就可以為特定的分布定制要訓練的ML模型。此外，并非所有ML建模技術都能對非高斯數據起作用。

在開始建模之前，再次強調，統計數據提供了重要的信息！

下面是在Scipy代碼中計算偏態的方法：

scipy.stats.skew(array)

5. 協方差和相關性

協方差

兩個特征變量的協方差可用于衡量二者的“相關性”。如果兩個變量有正協方差，那么當一個變量增加時，另一個也會增加；當協方差為負時，特征變量的值將向相反的方向變化。

相關性

相關性也就是簡單的標準化(比例)協方差，即兩個被分析變量的積差。這將有效地促使關聯范圍始終保持在-1.0和1.0之間。

若兩個特征變量的相關系數為1.0，則兩個特征變量的相關系數為正相關。這也就意味著，如果一個變量的變化量是給定的，那么第二個變量就會按比例向相同的方向移動。

▲降維主成分分析(PCA)說明

當正相關系數小于1時，表示正相關系數小于完全正相關，且相關強度隨著數字趨近于1而增大。這同樣也適用于負相關值，只是特征變量的值朝相反的方向變化，而不是朝相同的方向變化。

了解相關性對于主成分分析(PCA)等降維技術非常有用。從計算一個相關矩陣開始——如果有兩個或兩個以上的變量高度相關，那么它們在解釋數據時實際上是多余的，可以刪除其中一些變量以降低復雜性。