你不得不知的數據分析法

數據分析，最先要明確的是目的，沒有目的，就沒有方向。目的是做數據分析的一條主線，根據目的才能去想要什么數據，要經過哪些處理，再進行什么樣的分析，得出什么樣的報告。

那么，我們就來進行數據分析的第一步，我們先來假設一個命題，也就是我們的目的。做電商的人都知道，流量對于店鋪來說，是一個很重要的東西，而要有流量，就要有展現，展現分很多，各種活動，直通車鉆展，當然還有大家最喜歡的免費流量，免費的展現。那最核心的還是，想要有展現，就得有排名。那我們不妨來研究一下，排名到底有什么樣的規則。

一篇文章，必然講不完那么大的一個命題，所以我給大家演示的也是其中的一部分。眾所皆知，在免費流量里面，綜合入口是最大的，而影響綜合入口一個很大的因素就是上下架時間點對于排名的影響（當然除了3個豆腐塊之外），那這次就來看看上下架的時間點，對于排名來說，它的影響到底是什么樣的。

目前有了目的，我們就要來選擇數據，我們需要什么數據來分析，那第一個能想到的，必然就是在某一個時間點，在某一個關鍵詞下面，綜合排名前幾頁的寶貝的具體下架時間。

查找你想了解的寶貝關鍵詞，拉出相關數據（我用的馭寶魔盒拉的數據，也可以用其他軟件采集）：

這里已經有了我們所需要的上下架時間，這時候你要做好記錄，什么關鍵詞，詞的寶貝數是多少，什么時間點拉下來的。

我會這樣做一個記錄。這個記錄方便以后查看，包括可能后續的需要更加大數據或者其他方面的研究。

好了，我們完成了第二個步驟，我們有了數據，接下去，就是考驗大家用工具的一些基本功底了，我們要對整個數據進行一些處理。光光這么看數據，可能能看出一些東西來，但是必然不嚴謹，偶然性比較大，而且我們需要分析的維度是時間，時間在這里，還不是一個序列，只是一個變量，但是這又不是一個數值型的變量，不能直接拿來做一個直觀的比較。而且有時候不處理直接看幾萬條數據，看見頭都會大。所以數據處理和清理這一步很重要。

所以這里，我就對于這個時間變量進行一個模擬變量的數字化：

首先一步，我會把這個時間點，單獨提取出來，當然，日期也是，日期必然也會有好多個日期：

但是我會先把其他日期屏蔽掉，因為其他日期的量很少，屬于離群值，大家也都知道，離群值不同于異常值（當然也要經過分析看看是不是異常值，由于軟件跟系統原因，出現異常值也是正常），但是這些離群值，數量不大，除了3個是豆腐塊之外，也就一只手不到的數目。這些數目，我們可以單獨作為研究，其實這也是一個很好的維度，我們可以看看，為什么這些寶貝離下架時間點明明還有很長的時間，但是卻能在前面幾頁，當然這不是我們目前主要的課題，所以不深入討論，大家感興趣可以自行研究。

好了，異常值也沒有了，接下去，我們要做的就是模擬變量的一個數字化，以便于我們分析，這里就是讓時間變量，變成我們可以分析的數值，大概的意思就是離我查詢的那個時間點為標準，離的近的數字小，離的遠的數字大。

其中的14點，就是我查詢的時間，所以就以這個為一個標準點。經過這些處理之后，我們就大概的得到了我們想要的一個數據，就是我們有了排名，有了上下架時間。

接下去，就是展現我們數據分析師功底的時候了，我的做法是，先把這個導入到常用的數據分析軟件SAS中，一般我個人使用的話，一般使用的是SAS Enterprise Guide這個模塊，比較無腦黨一點。

大概簡單的這么做了一個過程流：

這是大概做的一個數據流，我還是跟大家講講我那時候做的一個思路吧，那個才是最重要的，也是我希望大家能學到的。

這個就是我剛剛弄好的兩個變量，其中假設排名分，就是設的一個根據排名越高，給分越高的一個設定，在這個分析中，并沒有什么作用，大家不必去在意。然后，需要做一個初步判斷，最簡單的方法，就是作圖，直觀，簡單，能看出很多東西。我先做了一個散點圖，看看分布。

其實就這個圖，就能說明很多的問題了，我們已經可以初步的下一個結論，這個詞，時間點到了某一個點之后，排名最前面的一些，和后面的完全不是一個規則，或者說權重。然后也可以初步判斷，在某個時間段之內后，排名靠前之后，其中的權重應該為差不多，而不是再根據時間點的推移，加大權重。當然這需要驗證，包括可以研究，究竟是這個詞的原因，還是說這個量級的寶貝數都是這個規則。大家可以自己去做一個驗證。

圖其實已經告訴我了，這樣發分布規則，基本做不了其他什么數據的分析了，這里規則分兩個，但是其中的關聯基本沒有，我這邊也可以演示給大家看：

很明顯，這個P值太大，根本沒法拒絕原假設，這個詞基本不能正常的做一個邏輯回歸的分析，當然也可以分類做個驗證：

我是把排名前40位做了個驗證，也可以看到，至少可以說嗎，單單根據上下架，是無法做出什么判斷了。

當然，我們也可以看看，是否說，天貓店跟集市店，對于排名是否有影響：

可以看出，1為天貓店，0為集市店。在這個詞，確實天貓店在第一頁的占比會比后面幾頁要高，具體當然還需要大家去找更多的證據去證明。我這邊更多的是提供一種思維思路，指引大家自己去做一個分析。

當然，我們會想到的是，詞的一個寶貝數，量級的一個影響，我們可以把上面的看成是一個50萬寶貝數的量級。

那我接下去再分析了兩個詞，一個是10萬，一個是100萬左右寶貝數的詞。我們先來看10萬的：

這邊縱坐標的1，已經是代表了1天，因為這個詞的寶貝數比較少，已經不能把日期看做一個離群值來考慮了?？梢钥吹?，這邊明顯分為3個層級，在一天到一天半之內的時間，也是可以上首頁的，那我們是否也可以考慮，把這三個層級分下，看看具體他們寶貝有什么區別，也可以作為我們排名靠前該怎么做的一個依據。

我大致用EXCEL做了一下，這個圖是用透視表之后做的，可以看到，如果提前一天就想上第一頁，可以對于寶貝的銷量要求就增高了，這些大家都可以自己去做一個分析，比較簡單。也可以讓自己獲得很多東西。當然這也需要再看看別的詞是否也這樣，我強調了很多次，因為電商規則的數據分析很大程度上，也算是大量樣本下的驗證分析。

然后我們看看100萬左右的：

這里我沒有對那些離群值做一個處理，也是為了讓大家看看效果，前面3個點是豆腐塊，后面基本都是靠近下架時間點的寶貝了。

這篇文章就先寫這么多吧，相對比較簡單，操作步驟需要大家自己去實踐和繼續分析。我們可以初步推斷，詞下面寶貝數量級越大，上下架權重越大，特別是到達某一個特定的時間點之后，而且不同量級，規則會有所不同。當然還可以做下一步：大量驗證，量級可以為10，20...500萬量級，每個量級3~5個詞，驗證上面結果，得出更加詳細結論，比如詳細的改變權重時間點，異常值為何出現等細化研究，可以驗證——同一個層級之類，排名是否就按照人氣排名......主要給大家提供的還是一個思路，而不是直接告訴大家規則，那樣的話，很快就沒用了，教大家的是可以提前比別人知道的一些方法。