一、大數據思維

在2011年、2012年大數據概念火了之后，可以說這幾年許多傳統企業也好，互聯網企業也好，都把自己的業務給大數據靠一靠，并且提的比較多的大數據思維。

那么大數據思維是怎么回事？我們來看兩個例子：

案例1：輸入法

首先，我們來看一下輸入法的例子。

我2001年上大學，那時用的輸入法比較多的是智能ABC，還有微軟拼音，還有五筆。那時候的輸入法比現在來說要慢的很多，許多時候輸一個詞都要選好幾次，去選詞還是調整才能把這個字打出來，效率是非常低的。

到了2002年，2003年出了一種新的輸出法——紫光拼音，感覺真的很快，鍵盤沒有按下去字就已經跳出來了。但是，后來很快發現紫光拼音輸入法也有它的問題，比如當時互聯網發展已經比較快了，會經常出現一些新的詞匯，這些詞匯在它的詞庫里沒有的話，就很難敲出來這個詞。

在2006年左右，搜狗輸入法出現了。搜狗輸入法基于搜狗本身是一個搜索，它積累了一些用戶輸入的檢索詞這些數據，用戶用輸入法時候產生的這些詞的信息，將它們進行統計分析，把一些新的詞匯逐步添加到詞庫里去，通過云的方式進行管理。

比 如，去年流行一個詞叫“然并卵”，這樣的一個詞如果用傳統的方式，因為它是一個重新構造的詞，在輸入法是沒辦法通過拼音“ran bing luan”直接把它找出來的。然而，在大數據思維下那就不一樣了，換句話說，我們先不知道有這么一個詞匯，但是我們發現有許多人在輸入了這個詞匯，于是， 我們可以通過統計發現最近新出現的一個高頻詞匯，把它加到司庫里面并更新給所有人，大家在使用的時候可以直接找到這個詞了。

案例2：地圖

再 來看一個地圖的案例，在這種電腦地圖、手機地圖出現之前，我們都是用紙質的地圖。這種地圖差不多就是一年要換一版，因為許多地址可能變了，并且在紙質地圖 上肯定是看不出來，從一個地方到另外一個地方怎么走是最好的？中間是不是堵車？這些都是有需要有經驗的各種司機才能判斷出來。

在有了百度地圖這樣的產品就要好很多，比如：它能告訴你這條路當前是不是堵的？或者說能告訴你半個小時之后它是不是堵的？它是不是可以預測路況情況？

此 外，你去一個地方它可以給你規劃另一條路線，這些就是因為它采集到許多數據。比如：大家在用百度地圖的時候，有GPS地位信息，基于你這個位置的移動信 息，就可以知道路的擁堵情況。另外，他可以收集到很多用戶使用的情況，可以跟交管局或者其他部門來采集一些其他攝像頭、地面的傳感器采集的車輛的數量的數 據，就可以做這樣的判斷了。

這里，我們來看一看紙質的地圖跟新的手機地圖之間，智能ABC輸入法跟搜狗輸入法都有什么區別？

這 里面最大的差異就是有沒有用上新的數據。這里就引來了一個概念——數據驅動。有了這些數據，基于數據上統計也好，做其他挖掘也好，把一個產品做的更加智 能，變得更加好，這個跟它對應的就是之前可能沒有數據的情況，可能是拍腦袋的方式，或者說我們用過去的，我們想清楚為什么然后再去做這個事情。這些相比之 下數據驅動這種方式效率就要高很多，并且有許多以前解決不了的問題它就能解決的非常好。

二、數據驅動

對于數據驅動這一點，可能有些人從沒有看數的習慣到了看數的習慣那是一大進步，是不是能看幾個數這就叫數據驅動了呢？這還遠遠不夠，這里來說一下什么是數據驅動？或者現有的創業公司在進行數據驅動這件事情上存在的一些問題。

一種情況大家在公司里面有一個數據工程師，他的工作職責就是跑數據。

不 管是市場也好，產品也好，運營也好，老板也好，大家都會有各種各樣的數據需求，但都會提給他。然而，這個資源也是有限的，他的工作時間也是有限的，只能一 個一個需求去處理，他本身工作很忙，大家提的需求之后可能并不會馬上就處理，可能需要等待一段時間。即使處理了這個需求，一方面他可能數據準備的不全，他 需要去采集一些數據，或做一些升級，他要把數據拿過來。拿過來之后又在這個數據上進行一些分析，這個過程本身可能兩三天時間就過去了，如果加上等待的時間 更長。

對于有些人來說，這個等待周期太長，整個時機可能就錯過了。比如，你重要的就 是考察一個節日或者一個開學這樣一個時間點，然后想搞一些運營相關的事情，這個時機可能就錯過去了，許多人等不到了，有些同學可能就干脆還是拍腦袋，就不 等待這個數據了。這個過程其實就是說效率是非常低的，并不是說拿不到這個數據，而是說效率低的情況下我們錯過了很多機會。

對于還有一些公司來說，之前可能連個數都沒有，現在有了一個儀表盤，有了儀表盤可以看到公司上個季度、昨天總體的這些數據，還是很不錯的。

對老板來說肯定還是比較高興，但是，對于市場、運營這些同學來說可能就還不夠。

比 如，我們發現某一天的用戶量跌了20%，這個時候肯定不能放著不管，需要查一查這個問題出在哪。這個時候，只看一個宏觀的數那是遠遠不夠的，我們一般要對 這個數據進行切分，按地域、按渠道，按不同的方式去追查，看到底是哪少了，是整體少了，還是某一個特殊的渠道獨特的地方它這個數據少了，這個時候單單靠一 個儀表盤是不夠的。

理想狀態的數據驅動應該是怎么樣的？就是一個自助式的數據分析，讓業務人員每一個人都能自己去進行數據分析，掌握這個數據。

前 面我講到一個模式，我們源頭是一堆雜亂的數據，中間有一個工程師用來跑這個數據，然后右邊是接各種業務同學提了需求，然后排隊等待被處理，這種方式效率是 非常低的。理想狀態來說，我們現象大數據源本身整好，整全整細了，中間提供強大的分析工具，讓每一個業務員都能直接進行操作，大家并發的去做一些業務上的 數據需求，這個效率就要高非常多。

三、數據處理的流程

大數據分析這件事用一種非技術的角度來看的話，就可以分成金字塔，自底向上的是三個部分，第一個部分是數據采集，第二個部分是數據建模，第三個部分是數據分析，我們來分別看一下。

數據采集

首先來說一下數據采集，我在百度干了有七年是數據相關的事情。我最大的心得——數據這個事情如果想要更好，最重要的就是數據源，數據源這個整好了之后，后面的事情都很輕松。

用一個好的查詢引擎、一個慢的查詢引擎無非是時間上可能消耗不大一樣，但是數據源如果是差的話，后面用再復雜的算法可能都解決不了這個問題，可能都是很難得到正確的結論。

我覺得好的數據處理流程有兩個基本的原則，一個是全，一個是細。

全：

就 是說我們要拿多種數據源，不能說只拿一個客戶端的數據源，服務端的數據源沒有拿，數據庫的數據源沒有拿，做分析的時候沒有這些數據你可能是搞歪了。另外， 大數據里面講的是全量，而不是抽樣。不能說只抽了某些省的數據，然后就開始說全國是怎么樣?？赡苡行┦》浅Ｌ厥?，比如新疆、西藏這些地方客戶端跟內地可能 有很大差異的。

細：

其 實就是強調多維度，在采集數據的時候盡量把每一個的維度、屬性、字段都給它采集過來。比如：像where、who、how這些東西給它替補下來，后面分析 的時候就跳不出這些能夠所選的這個維度，而不是說開始的時候也圍著需求。根據這個需求確定了產生某些數據，到了后面真正有一個新的需求來的時候，又要采集 新的數據，這個時候整個迭代周期就會慢很多，效率就會差很多，盡量從源頭抓的數據去做好采集。

數據建模

有了數據之后，就要對數據進行加工，不能把原始的數據直接報告給上面的業務分析人員，它可能本身是雜亂的，沒有經過很好的邏輯的。

這里就牽扯到數據建框，首先，提一個概念就是數據模型。許多人可能對數據模型這個詞產生一種畏懼感，覺得模型這個東西是什么高深的東西，很復雜，但其實這個事情非常簡單。

我春節期間在家干過一件事情，我自己家里面家譜在文革的時候被燒了，后來家里的長輩說一定要把家譜這些東西給存檔一下，因為我會電腦，就幫著用電腦去理了一下這些家族的數據這些關系，整個族譜這個信息。

我們現實是一個個的人，家譜里面的人，通過一個樹型的結構，還有它們之間數據關系，就能把現實實體的東西用幾個簡單圖給表示出來，這里就是一個數據模型。

數據模型就是對現實世界的一個抽象化的數據的表示。我們這些創業公司經常是這么一個情況，我們現在這種業務，一般前端做一個請求，然后對請求經過處理，再更新到數據庫里面去，數據庫里面建了一系列的數據表，數據表之間都是很多的依賴關系。

比如，就像我圖片里面展示的這樣，這些表一個業務項發展差不多一年以上它可能就牽扯到幾十張甚至上百張數據表，然后把這個表直接提供給業務分析人員去使用，理解起來難度是非常大的。

這個數據模型是用于滿足你正常的業務運轉，為產品正常的運行而建的一個數據模型。但是，它并不是一個針對分析人員使用的模型。如果，非要把它用于數據分析那就帶來了很多問題。比如：它理解起來非常麻煩。

另外，數據分析很依賴表之間的這種格子，比如：某一天我們為了提升性能，對某一表進行了拆分，或者加了字段、刪了某個字短，這個調整都會影響到你分析的邏輯。

這里，最好要針對分析的需求對數據重新進行解碼，它內容可能是一致的，但是我們的組織方式改變了一下。就拿用戶行為這塊數據來說，就可以對它進行一個抽象，然后重新把它作為一個判斷表。

用 戶在產品上進行的一系列的操作，比如瀏覽一個商品，然后誰瀏覽的，什么時間瀏覽的，他用的什么操作系統，用的什么瀏覽器版本，還有他這個操作看了什么商 品，這個商品的一些屬性是什么，這個東西都給它進行了一個很好的抽象。這種抽樣的很大的好處很容易理解，看過去一眼就知道這表是什么，對分析來說也更加方 便。

在數據分析方，特別是針對用戶行為分析方面，目前比較有效的一個模型就是多維數據模型，在線分析處理這個模型，它里面有這個關鍵的概念，一個是維度，一個是指標。

維度比如城市，然后北京、上海這些一個維度，維度西面一些屬性，然后操作系統，還有IOS、安卓這些就是一些維度，然后維度里面的屬性。

通過維度交叉，就可以看一些指標問題，比如用戶量、銷售額，這些就是指標。比如，通過這個模型就可以看來自北京，使用IOS的，他們的整體銷售額是怎么樣的。

這里只是舉了兩個維度，可能還有很多個維度?？傊?，通過維度組合就可以看一些指標的數，大家可以回憶一下，大家常用的這些業務的數據分析需求是不是許多都能通過這種簡單的模式給抽樣出來。