關于數據分析：你想知道的都在這里

數據分析的概念

數據分析是指用適當的統計分析方法對收集來的大量數據進行分析，將他們加以匯總和理解消化，以求最大化地開發數據的功能，發揮數據的作用。

做數據分析的原因

1、有效避免拍腦袋、主觀臆想；

2、為決策提供支撐，更能說服人；

3、通過數據分析，可以看到決策的效果、問題以及未來應該如何做。

知乎用戶@綃頁的答案很簡單，但卻一語中的：

1、“知錯能改，善莫大焉”——可是錯在哪里，數據分析告訴你。

2、“運籌帷幄之中，決勝千里之外”——怎么做好“運籌”，數據分析告訴你。

3、“以往鑒來，未卜先知”——怎么發現歷史的規律以預測未來，數據分析告訴你。

數據分析的作用

數據分析是把隱藏在一大批看似雜亂無章的數據背后的信息集中和提煉出來，總結出所研究對象的內在規律。在企業的日常經營分析中有三大作用：

? 現狀分析：

告訴你過去發生了什么具體體現在：

第一，告訴你現階段的整體運營情況，通過各個經營指標的完成情況來衡量企業的運營狀態，以說明企業整體運營是好了還是壞了好的程度如何，壞的程度又到哪里。

第二，告訴你企業各項業務的構成，讓你了解 企業各項業務的發展及變動情況，對企業運營狀況有更深入的了解。

現狀分析一般通過日常通報來完成，如日報、周報、月報等形式。

比如：電商類型網站的日報中的現狀分析會包括訂單數、新增用戶數、活躍率、留存率等指標同比或環比上漲還是降低了多少。

? 原因分析：

告訴你某一現狀為什么發生。

經過第一階段的現狀分析，我們對企業的運營情況有基本了解，但不知道運營情況具體好在哪里。差在哪里，是什么原因引起的。這就需要原因分析。

原因分析一般是通過專題分析來完成的，根據企業運營情況選擇針對某一現狀進行原因分析。

比如：某電商網站某一天的日報中某件商品突然銷量突然增加，那么就需要針對這件商品銷量突然增加做專題分析，看是什么因素影響了該商品銷量大增。

也可以用于分析活躍率、留存率等下降或升高的原因。

? 預測分析：

告訴你將來會發生什么。

在了解企業運營狀況以后，有時還需要對企業未來發展趨勢做出預測，為制定企業運營目標及策略提供有效的參考與決策依據，以保證企業的可持續健康發展。

預測分析一般通過專題分析來完成，通常在制定企業季度、年度計劃時進行。

比如：通過上述的原因分析，我們就可以針對性做出一些政策，比如通過原因分析，我們可以得出面包的銷量在臺風來臨之際銷量會突增，那么我們在下次臺風來臨之前就應該多準備面包貨源，同時為了獲得更多的銷量做一系列準備。

數據分析的邏輯

一般而言，數據分析的邏輯是：先明確數據分析的目的、然后理清用戶消費流程和邏輯（實際上也就是梳理清楚業務邏輯），找出關鍵用戶行為和數據，分析用戶在消費行為中關鍵行為和數據找到問題，思考解決方案。

比如某電商做了一個專題活動，但效果卻并不理想，現在需要尋找原因，那么它的邏輯就大致是：首先理清用戶消費流程：專題活動頁面——商品頁面——下單購買，或者是通過搜索/導航——商品頁面——下單購買；然后找出關鍵的用戶行為：打開專題頁或通過搜索導航、進入商品頁面、點擊購買、下單等；再然后確認是用戶的哪個行為數據是否有異常的地方，也就是找到問題所在；最后就是思考怎樣去解決這個問題。

數據分析方法

在數據來源正確的前提下，數據分析的方法可以分為定性分析和定量分析。

定性分析，就是對事物的性質作出判斷，究竟它“是什么”。比如最近某一個產品的用戶活躍度大幅度提升，而結合該款產品最近的更新情況可知，用戶活躍度之所以大幅提升是該款產品上線了一個新功能導致的。

定量分析，是指對事情的數量做出統計，衡量它“有多少”。比如產品優化了登錄注冊流程，這一優化的效果是怎樣的，帶來了多少新注冊用戶，增長率是多少。

在《增長黑客》中有一段對數據分析的精彩論述，其中也有提到定性分析和定量分析的關系：

數據分析就是定性分析和定量分析的相互結合，不斷驗證的過程。提出假設、設計方案、分析數據、驗證或推翻假設，最終抽絲剝繭，逐漸接近真相。數據是相互印證的，彼此之間有如通過無形的網絡縱橫連接，只需輕輕按動其中一個就會驅使另外一個或一組產生變化。

通過數據分析得出的結論，應當能反推出其他數據，或是與其他數據分析得出的結果相一致。例如，假設某日在線訂餐網站的數據量猛升，猜測與天氣陰雨、用戶窩在辦公室或家中不愿出門有關，那么就應當去翻查近期之內網站在陰雨天期間的訪問數據，看是否出現了類似的攀升。

數據分析流程

明確目的——獲取數據——處理數據——尋找異常值——分析原因——得出結論——驗證結論

明確目的：清楚并理解此次分析的目的是什么，比如尋找某地城市的流量銳減的原因，這個很多時候是建立在你對業務邏輯/流程的理解，如果不了解的話，你所做的不是數據分析，頂多就是個數據整理的工作。而這就要求先確認分析維度，包括拉取什么數據、核心變量是什么、核心變量是否受到其他外界因素的影響（是否有其他需求上線？能否取到準確來源的數據？時間范圍的數據是否出現數據問題？）

獲取數據：很多時候我們需要自己動手從數據庫里拉取相關數據，在拉取數據時，需要注意以下幾點：

1、能在數據庫里處理的，就不要拉到excel中處理；（比如走勢圖對比，有的系統比較高端，不同日期、不同指標之間直接就可以進行對比，而好多新人會在剛開始做數據分析的時候把數據導出來，自己制作走勢圖。）

2、語句是否完整：引號、分號、group by；

3、條件限制是否準確：時間、平臺、頁面、類別、是否去重、是否清洗；

4、語句邏輯是否正確；所取時間段數據是否不受外界因素影響等等。

處理數據：保存拉取出來的數據作為原始數據，保留相應的語句；掌握常用函數（Vlookup、sum、sumifs、Average、if、If error）；當你認為所需要做的事情特別繁瑣時，找人問；或者將你的問題清楚表述，然后百度，你要相信，你所遇到的問題別人很有可能早就遇到過。

尋找異常值：則是需要結合具體的業務才能進行，因為不同平臺不同指標的異常值不同，我們需要熟悉自己平臺的哪些指標為哪些值時為異常值。

分析原因：找到異常值以后，我們需要分析異常值出現的原因，在分析原因時會用到幾種常見數據分析方法論和數據分析方法。

? 數據分析方法論主要是從宏觀角度指導如何進行數據分析，他就像是一個數據分析的前期規劃，指導后期數據分析工作的開展。

常見的數據分析方法論有：

?  PEST分析法（P—Political政治環境、E—Economic經濟環境、S—Social社會環境、T—Technological技術環境）

?  5W2H分析法（Why、What、Who、When、Where、How、How much）

? 邏輯樹分析法：是將問題的所有子問題分層羅列，從最高層開始，逐步向下擴展。

?  4P營銷理論：Product（產品）、Price（價格）、Place（渠道）、Promotion（促銷）

? 用戶行為理論：用于用戶行為研究分析，用戶行為是指用戶對一個產品從認知、熟悉、試用、使用、忠誠的過程（常見指標有：IP、PV、頁面停留時間、跳出率、回訪者、流失率、關鍵字搜索、轉化率、登錄率）。

?  數據分析方法是指具體的分析方法，例如我們常見的對比分析、交叉分析、回歸分析、等數據分析法。

常見的數據分析方法

? 對比分析法

a  定義：將兩個或兩個以上的數據進行比較，分析他們的差異，從而揭示這些數據所代表的事物發展變化情況和規律性。

b  分類：對比分析法可以分為靜態比較和動態比較

●  靜態比較：同一時間條件下對不同總體指標的比較，如不同部門、不同地區、不同國家的比較，也叫橫向比較。

●  動態比較：同一總體條件下對不同時期指標數值的比較，也叫縱向比較。

c  實踐應用：常用于一下幾個維度。

與目標對比：實際完成值與目標進行對比，屬于橫比。

●  不同時期對比：選擇不同時期的指標數值作為對比標準，屬于縱比。

●  同級部門、單位、地區對比，屬于橫比。

●  行業內對比：與行業中的標桿企業、競爭對手或行業的平均水平進行對比，屬于橫比。

●  活動效果對比：對某項營銷活動開展前后進行對比，屬于縱比。

?  分組分析法

先經過數據加工，對數據進行數據分組，然后對分組的數據進行分析。分組的目的是為了便于對比，把總體中具有不同性質的對象區分開，把性質相同的對象合并在一起，保持各組內對象屬性的一致性、組與組之間屬性的差異性，以便進一步運用各種數據分析方法來解釋內在的數量關系。

?  結構分析法  

指被分析總體內的各部分與總體之間進行對比的分析方法，即總體內各部分占總體的比例。（市場占有率是典型的應用）

?  平均分析法

運用計算平均數的方法來反映總體在一定的時間、地點條件下某一數量特征的一般水平。

平均指標可用于同一現象在不同地區、不同部門或單位間的對比，還可用于同一現象在不同時間的對比。

?   交叉分析法

通常用于分析兩個變量之間的關系，即同時將兩個有一定聯系的變量及其值交叉排列在一張表格內，使各變量值成為不同變量的交叉節點，形成交叉表。

?  漏斗圖分析法

漏斗圖可以很好的反映網站各步奏轉化率，利用對比法對同一環節優化前后的效果進行對比分析來反映某個步奏轉化率的好壞。

（網站轉化率—漏斗圖）

?  矩陣關系分析法

相當于直角坐標系，橫縱坐標代表不同指標值（滿意度、重要性等）。

得出結論：根據原因分析得出結論。

驗證結論：則是需要從其他維度去驗證一下結論的可靠性，

數據分析幾大誤區

因為數據的客觀性，讓數據變成了發掘問題本質，尋找事物規律所需要用到的最有利的手段之一。但是，數據雖然客觀，有時也是會騙人的。在與數據打交道的過程中，我們可能經常會犯一些錯誤，導致分析的結論出現較大的偏頗。因此，在做數據分析時，我們需要警惕這5個常見誤區：

1. 選取的樣本容量有誤

08年奧運會上，姚明的三分投籃命中率為100%，科比的三分投籃命中率為32%，那么是不是說姚明的三分投籃命中率要比科比高？

顯然不能這么說，因為那屆奧運會，姚明只投了一個三分球，科比投了53個。

因此，在做數據對比分析時，對于樣本的選取，需要制定相同的抽樣規則，減少分析結論的偏差性。

2. 錯判因果關系

某電商網站數據顯示，商品評論的數量與商品銷售額成正比。即一個商品評論數量越多，那么該商品的銷售額也會越高。

假如我們認為評論多是銷量高的原因的話，數據分析的結論就會指導我們，需要創造更多的商品評論來帶動商品銷量。

但如果真的這樣操作的話，就會發現很多商品的銷量對于評論的敏感度并不一樣，甚至很多商品銷量很高，但與其評論的多少毫無關系。

這里，我們就需要思考，評論真的是影響銷量的必然因素嗎？

除了評論之外，影響銷量的因素，還有其質量、價格、活動等，如果能完整的認識到這些因素，那我們要拉升商品銷量，首先會需要先從其他角度來考慮，而非評論入手。

因此，在分析數據的時候，正確判斷數據指標的邏輯關系應該找幾者之間的相關關系而不是因果關系。（該知識點來源于大數據時代）

3. 被數據的表達技巧所蒙蔽

上圖從表面上來看，第二個圖表顯然更吸引人，轉化率增長更加可喜。

但實際上，兩個圖表使用的是同一組數據。第二個圖表，僅僅是更改了縱軸范圍，就在視覺上覺得第二個的轉化率增長幅度更大。

因此，在做數據分析時，我們需要警惕一些數據處理的小計倆，不要被數據的視覺效果所蒙蔽。

4. 過度依賴數據

過度依賴數據，一方面，會讓我們做很多沒有價值的數據分析；另一方面，也會限制產品經理本來應有的靈感和創意。

比如，分析馬車的數據，很可能我們得出的結論，是用戶需要一匹更快的馬車。如果過度依賴數據，局限了我們的思維，就很有可能不會有汽車的誕生。

很多優秀甚至偉大的產品決策，并非通過數據發現的，而是一個產品經理綜合智慧的體現。

最后:

數據是客觀的，但是，解讀數據的人是主觀的。只有正確的認識數據，才能正確的利用數據。

在做數據分析時，對待數據我們必須要有一個求證的心態，并需要時刻警惕那些被人處理過的二手數據。

專業數據分析師需要具備的能力

從數據分析的四個步驟來看清數據分析師需具備的能力和知識：

數據分析的四個步驟（這有別于數據挖掘流程：商業理解、數據理解、數據準備、模型搭建、模型評估、模型部署），是從更宏觀地展示數據分析的過程：獲取數據、處理數據、分析數據、呈現數據。

（一）  獲取數據

獲取數據的前提是對商業問題的理解，把商業問題轉化成數據問題，要通過現象發現本質，確定從哪些緯度來分析問題，界定問題后，進行數據的采集。此環節，需要數據分析師具備結構化的思維和對商業問題的理解能力。

推薦書籍：《金字塔原理》、麥肯錫三部曲：《麥肯錫意識》、《麥肯錫工具》、《麥肯錫方法》

工具：思維導圖、mindmanager軟件

（二）  處理數據

一個數據分析項目，通常數據處理時間占70%以上，使用先進的工具有利于提升效率，所以盡量學習最新最有效的處理工具，以下介紹的是最傳統的，但卻很有效率的工具：

Excel：日常在做通報、報告和抽樣分析中經常用到，其圖表功能很強大，處理10萬級別的數據很輕松。

UltraEdit：文本工具，比TXT工具好用，打開和運行速度都比較快。

ACCESS：桌面數據庫，主要是用于日常的抽樣分析（做全量統計分析，消耗資源和時間較多，通常分析師會隨機抽取部分數據進行分析），使用SQL語言，處理100萬級別的數據還是很快捷。

Orcle、SQL sever：處理千萬級別的數據需要用到這兩類數據庫。

當然，在自己能力和時間允許的情況下，學習新流行的分布式數據庫及提升自身的編程能力，對未來的職業發展也有很大幫助。

分析軟件主要推薦：

SPSS系列：老牌的統計分析軟件，SPSS Statistics（偏統計功能、市場研究）、SPSS Modeler（偏數據挖掘）,不用編程，易學。

SAS：老牌經典挖掘軟件，需要編程。

R：開源軟件，新流行，對非結構化數據處理效率上更高，需編程。

隨著文本挖掘技術進一步發展，對非結構化數據的分析需求也越來越大，需要進一步關注文本挖掘工具的使用。

（三）  分析數據

分析數據，需要用到各類的模型，包括關聯規則、聚類、分類、預測模型等，其中一個最重要的思想是對比，任何的數據需要在參照系下進行對比，結論才有意義。

推薦的書籍：

1、《數據挖掘與數據化運營實戰，思路、方法、技巧與應用》，盧輝著，機械出版社。這本書是近年國內寫得最好的，務必把它當作圣經一樣來讀。

2、《誰說菜鳥不會數據分析（入門篇）》和《誰說菜鳥不會數據分析（工具篇）》，張文霖等編著。屬于入門級的書，適合初學者。

3、《統計學》第五版，賈俊平等編著，中國人民大學出版社。比較好的一本統計學的書。

4、《數據挖掘導論》完整版，[美]Pang-Ning Tan等著，范明等翻譯，人民郵電出版社。

5、《數據挖掘概念與技術》,Jiawei Han等著，范明等翻譯，機械工業出版社。這本書相對難一些。

6、《市場研究定量分析方法與應用》，簡明等編著，中國人民大學出版社。

7、《問卷統計分析實務---SPSS操作與應用》，吳明隆著，重慶大學出版社。在市場調查領域比較出名的一本書，對問卷調查數據分析講解比較詳細。

（四）  呈現數據

該部分需要把數據結果進行有效的呈現和演講匯報，需要用到金字塔原理、圖表及PPT、word的呈現，培養良好的演講能力。

推薦書籍：

1、《說服力讓你的PPT會說話》，張志等編著，人民郵電出版社。

2、《別告訴我你懂ppt》加強版，李治著，北京大學出版社。

3、《用圖表說話》，基恩。澤拉茲尼著，馬曉路等翻譯，清華大學出版社。

（五）  其他的知識結構

數據分析師除了具備數學知識外，還要具備市場研究、營銷管理、心理學、行為學、產品運營、互聯網、大數據等方面的知識，需要構建完整廣泛的知識體系，才能支撐解決日常遇到的不同類型的商業問題。

推薦書籍：

1、《消費者行為學》第10版，希夫曼等人著，江林等翻譯，中國人民大學出版社，現在應該更新到更高的版本。

2、《怪誕行為學》升級版，艾瑞里著，趙德亮等翻譯，中信出版社

3、《營銷管理》，科特勒等著，梅清豪翻譯，格致出版社和上海人民出版社聯合出版

4、《互聯網思維---獨孤九劍》，趙大偉主編，機械出版社

5、《大數據時代---生活、工作與思維的大變革》，舍恩伯格等著，周濤等翻譯，浙江人民出版社

PS：這里提到的能力要求為專業數據分析師需要掌握的技能，一般用數據來輔助產品、輔助運營的數據分析不需要這么高難度的。

數據分析是職業發展

1、數據分析師通常分兩類，分工不同，但各有優勢。

一類是在專門的挖掘團隊里面從事數據挖掘和分析工作的。如果你能在這類專業團隊學習成長，那是幸運的，但進入這類團隊的門檻較高，需要扎實的數據挖掘知識、挖掘工具應用經驗和編程能力。該類分析師更偏向技術線條，未來的職業通道可能走專家的技術路線。

另一類是下沉到各業務團隊或者運營部門的數據分析師，成為業務團隊的一員。他們工作是支撐業務運營，包括日常業務的異常監控、客戶和市場研究、參與產品開發、建立數據模型提升運營效率等。該類型分析師偏向產品和運營，可以轉向做運營和產品。

2、數據分析師的理想行業在互聯網，但條條大道通羅馬，走合適你的路線。

從行業的角度來看：

1）互聯網行業是數據分析應用最廣的行業，其中的電商企業，更是目前最火的，而且企業也更重視數據分析的價值，是數據分析師理想的成長平臺。

2）其次是咨詢公司（比如專門的數據挖掘公司Teradata、尼爾森等市場研究公司），他們需要數據分析人才，而且相對來說，數據分析師在咨詢公司成長的速度更快，專業也會更全面。

3）再次是金融行業，比如銀行和證券等行業，該行業對數據分析的依賴需求，越來越大。

4）最后是電信行業（中國移動、聯通和電信），它們擁有海量的數據，在嚴峻的競爭下，也越來越重視數據分析，但進入這些公司的門檻比較高。