數據分析入門之隨筆記

數據的一面是銀彈(Silver Bullet)：無所不能，增長黑客(Growth Hacking)，決策分析(Decision Making)；數據的另外一面是鏡子(Reflection)：可以看清楚很多茍且和遠方的田野。如何發現利用數據的價值，就是數據分析的目標。

數據分析的重要性可以分為兩點：

第一是幫助核心業務(Business)成長，找到和驗證業務增長點
第二是有效的業務推動（Marketing），提高推廣的效率(ROI)。

我把營銷(Marketing)作為獨立的數據分析角度，因為數字營銷極度依賴于數據分析，并且有一些通用的分析模型，它同時也是一個非常大的產業，它是各個軟件巨擘必爭之地。

最近十幾年，數據的收集和處理能力大大提升，越來越多的傳感器和數據收集，許多大公司的數據正在從TB級別走向PB級別?；ヂ摼W公司之間的模式競爭，也轉戰到對于數據價值的挖掘的能力上，很多時候也就是速度和效率的競爭。不要迷信數據，更不要忽視數據。很多時候，數據是你業務的指南針和護城河。

數據量快速增長，數據分析人才緊缺，數據分析工具依賴性，數據分析服務的強需求都反映了公司從粗放型到精細化的轉型。

1.什么是數據分析（Data Analysis）？

為了理解數據分析，首先理解一下數據的概念。管理學家羅素·艾可夫在1989的《 “From Data to Wisdom”，Human SystemsManagement 》提出了DIKW體系體系，這是關于數據、信息、知識及智慧的一個模型，完美詮釋了四者的關系。Data(數據)->Information(信息）->Knowledge（知識)->Wisdom(智慧)。

2. 數據分析的技術

技術上就是以發現有用信息，知識和洞察為目的，進行數據收集，處理，清晰，過濾，以支持決策制定。有好幾概念有些混淆，花點時間解釋一下：

a.   數據挖掘(Data Mining)：數據挖掘是以預測為目標的數據建模和知識探索的一個子學科，好多年前，它一直是一個熱門的研究生專業，直到信息檢索專業的出現。

b.   商務智能(Business Intelligence):BI是一個利用數據的聚合(Aggregation)和分片(Slice)的能力，進行業務監控和洞察發掘。

數據分析也是一種藝術(Art)，所謂藝術就是結合技術，想象力，經驗和意愿的綜合因素的平衡和融合。數據分析也是一個經驗和想象力的融合：它涉及到數學算法，統計分析，工具和軟件工程的一種結合，最后的目的是解決業務的問題，幫助人從數據中獲得智慧。

下面列了幾個常用的分析技術范式：

1.     統計模型：利用統計模型處理數據的方法

2.     探索式(exploratory):不設定假設目標，自由發掘和探索

3.     穩定性(Stability ofResults)：分析結果的穩定性評估，又是進行交叉驗證。

4.     假定驗證(HypothesisTesting):預先設定好結論，通過測試校驗結論

下面是涉及到算法，工程，統計等的相關技術，每一種細分技術都是一個大學問，好的數據科學家，可以游曳穿行其中，找到數據中有價值的洞察。

3.數據從業者的職業名稱

從事數據的工作者，歷史上我見識過了不少名稱，包括“數據分析師”，“數據經理”，“運營分析師”，“軟件工程師”，“算法工程師”，“策略分析師”，“數據科學家” 等等。其中最酷的名字還是LinkedIn發明的“數據科學家(Data Scientist)”，這個名稱也被Forbes評為本世紀最”性感“的工作了。我估計，這是全世界最多的科學家團體了，小時候總覺得科學家必須白發蒼蒼才行的，現在很多同學剛畢業就是”數據科學家“，很讓人羨慕。

數據分析實際上是三個方面的融合，包括數據，工程和業務。數據是智慧的原礦石，工程是采礦機，業務是指北針，只有三個方面融合起來，才能最有效的發現數據的價值。我相信一個好的數據分析師必須有工程背景，必須對數據敏感，而且愿意主動解決業務問題。

4.數據分析公司的生態圈

數據分析的的公司非常多，大大小小，林林總總。有小而美的硅谷創業公司，有老牌大公司的老樹新花。很多創業公司的市值一路飆升到無法接盤的狀態。例如，Palantir估值已經到了200億美元，但是最近可持續的收入卻不斷減少，引來不少麻煩。

我把數據分析公司分為三類:

第一類是基礎服務提供者，主要提供一些軟件工具，Hadoop和Spark的生態公司，幫助數據基礎架構的建設，也包括一些數據可視化公司。

第二類是通用分析服務提供公司，包括Palantir，IBM的Watson Analytics，SAS, Google Analytics 等等，這類公司提供數據分析服務或者工具，利用專家背景，系統規模和數據資源，幫助解決客戶的問題，特別是很多老牌公司通過收購傳統數據分析公司，快速重新包裝成新的高大上產品。

第三類是專注行業的數據分析公司，例如生物信息，市場營銷分析等等。

5.三種常見的業務分析模型：

GrowthHacker，AARRR，LTV

看完了欣欣向榮的數據分析行業，是不是感到有些熱血沸騰。不過我們還是要回到現實的的，落地的數據分析任務。大部分互聯網公司，面臨的業務增長的壓力，都希望通過數據分析來提升競爭力。其中，有三種常見的業務運營增長模型。

1.   黑客文化的Growth Hacker

2.   經典的AARRR漏斗模型

3.   游戲中的LTV模型

1)   增長黑客（Growth Hacker）的數據和分析

GrowthHacking，它指的是一種用戶增長的方式，簡單說就是通過某些手段和策略幫幫助公司形成快速成長，通常是數據驅動的方法。對創業公司、特別是初創公司來說，在沒有廣告預算、市場營銷活動以及市場推廣專員的情況下，GrowthHacking 也可以獲得良好的效果。

2)    AARRR模型

AARRR是Acquisition、Activation、Retention、Revenue、Refer，這個五個單詞的縮寫，分別對應這一款移動應用生命周期中的5個重要環節。每一個環節都有些關鍵指標，可以進行數據分析，找到提升的機會。

3)    生命周期價值（LTV）模型：

LTV是LifeTime Value，它是游戲行業用于衡量用戶價值的一種方式和模型。LTV是指在一定時間內，某一客戶可能為企業帶來的利潤額.顧客終身價值是指企業在獲得新顧客后的一段時間內，每一位顧客的平均利潤凈現值。由于游戲有很強的時間相關性，因此LTV會累計一段時間的數據。

6.   幾個有特點的數據分析工具

從公司類型上來說，數據分析公司簡單可以分為兩類：1傳統大型IT公司  2互聯網創新公司。很多傳統大公司都涌入數據分析行業，大多都是希望利用自己的客戶，硬件和軟件優勢，通過數據分析轉型成SaaS服務提供商，例如IBM，Oracle等。另外一個就是互聯網創新公司，大量數據科學家形成了大大小小數據分析創業公司，

小結

數據分析從來就是一個熱門詞，像人工智能一樣，從來都吸引眼球；很多時候，數據被濫用成了一把上方寶劍，誰不服就用數據砸誰。實際上，數據告訴你的更多的眼前的茍且，而我們需要思考的更多的是詩和遠方。數據分析可以給我提供很多的數字，但卻無法代替的人的思考:如何簡化問題?如何抽象和分解復雜？如何排除萬難？數據分析只會讓工作更加有意思和挑戰！