備好數據后，數據科學家還要做什么

在這個數據科學越來越火的時代，數據科學家的工作到底是怎樣的呢?

數據科學越來越火，很多人都想轉行入坑數據科學家，這當然是好事?？墒呛芏嗳硕家詾閿祿茖W、機器學習等等流行詞對應的工作，就是把數據塞進Sckit-Learn這個算法庫里而已。

事實遠遠沒有那么簡單，下面我帶大家走進真實的數據科學世界。

讓我們從數據搜集完成后開始講起。

問題闡述

“數據消耗”反映了特定服務類別數據的下載和上傳量，比如社交網絡，音頻等等。我們來看一個具體的例子。假設我們研究的是一個計數器，利用該計數器可以查看與亞馬遜網絡服務(Amazon Web Service，簡稱為AWS)連接的機器數量。

如果我們直接對原始數據進行分類，我們會得到如下結果：

我們可以注意到，這是對數據進行線性判別分析(Linear discriminant analysis，簡稱為LDA)后的二維示意圖。理論上講，LDA的結果可以體現出原數據的 ± 90%;雖然不是100%，但是這里我們可以看出，直接對數據進行分類完全沒有意義。有人建議我換別的算法或者調整超參數，但是其實，把算法直接套在原數據上的想法糟透了。

理解數據

現在，我們來挖掘一番。數據到底長什么樣?我強烈建議初學者多花些時間觀察理解數據，而不要急著輸入“from sklearn.cluster import KMeans”這樣的代碼行。這里我們研究一下這個例子的一個數據特征，但是請注意，大多數數據特征都是相似的。

下面是AWS計數器的結果(其實不是，但是我們就假定它是吧)

從上到下：總數，平均值，標準差，最小值，25分位，中位數，75分位，最大值

我們可以看到，幾乎所有的數值都為0。不過您仔細看會發現，其實有些值達到3千萬。您用這樣的數值直接計算出來的距離值，再帶入LDA算法中就不可能有意義。即使您縮小數據的規模使所有的數值都在0—1之間，那么絕大部分的數值也都會在0到大概0.0000005之間，對計算距離也沒有幫助。

如果我們只看非零的數值，分布就很有意思了：

數據處理

上圖看起來像是LogNormal分布?，F在我們就可以進行簡單的數據標準化了。采用Box-Cox法可以轉化LogNormal分布。這個方法可以把包含LogNormal在內的許多分布盡可能的標準化。

轉換的過程就是把下面公式中的lamda值最小化。

我們的數據集中有大量的0，所以lamda值最小化后的結果如下圖所示：(請注意：我們需要大于0的結果，因此我們先給每個數值加上1之后再用公式計算)

您可以看到上圖中大概在9的位置有一個小突起，這就是我們大多非0值的位置。從計算距離的角度看，現在我們的數據分布已經比原來的好太多倍了，但是仍然有進步的空間。

讓我們重新審視這個例子中數據的背景。我們想要根據機器的行為對其分類。在“機器對機器”的世界里，機器的行為包含了大量信息?！皺C器使用了亞馬遜網絡服務”這件事聽起來很滑稽，但其實含義非常重要。

我們給這些機器編碼，讓它們承擔特定的任務，比如報告天氣、展示廣告等等。它們做任務的代碼都是編寫好的，因而它們不可能隨機的開始在臉書或者其他平臺上操作。

事實上，它們可以使用一項服務(比如說AWS)本身就包含了大量信息?；谏厦娴姆治?，我決定對數據集中非零的數值進行標準化，使其規模在0.5到1之間;而對值為零的數據點保持不變。那么怎么標準化呢?當然是采用Box-Cox轉化法——而且只對非零值進行轉化。

請看下圖的結果比較。左圖是變換所有數據后得到的位于0—1區間的分布。右圖是放大的0.5—1區間的分布。

雖然說左圖看起來沒有比前面的方法提升很多，但是我向您保證，在后面應用算法的過程中兩者的區別很大。

結果

下面我們對經過預處理的數據重新分類。不需任何手動調整我們就得到了如下結果。

結論

我發現人們常?？吹剿惴ň腿缤蛄穗u血，一頭扎進建模的過程中。有的人甚至說，你不需要理解算法背后的數學原理。

我不贊同這個觀點。我認為還是應該理解一個算法的基本原理，至少要能理解到知道什么樣的數據輸入才是有意義的。

比如說，我們剛才舉例用的K-Means算法的基本原理就是點之間的距離，那么當您擁有“千萬”這樣的數量級時，您就不能期望直接把數據帶入算法就會獲得合適的結果，因為這時數值范圍太大了。

綜上所述，一遍一遍地檢查數據，直到對它了然于胸，然后再讓這些高級的算法完成后續的工作。