大數據的價值之路&數據價值之路的幾個里程碑

大數據的4V并不在一個層面

講起大數據，首先的印象就是《大數據時代》這本書中的提出的4V， 海量的數據規模（volume）、快速的數據流轉和動態的數據體系（velocity）、多樣的數據類型（variety）和巨大的數據價值（value）。

前三個V直接描述了數據本身的特征， 大數據業界無數的公司推出了各種存儲和數據處理的解決方案以應對大數據帶來的技術挑戰， 初期的淘金者賺的盆滿缽溢，留下了大量存滿數據的機房?？墒钦f好的價值呢？

最后一個V實現的并不理想。

以業界最為聞名遐邇的Palantir公司為例，他的founder是大名鼎鼎的硅谷投資創業教父，paypal創始人彼得.蒂爾。它第一個客戶和最大的客戶是美國中央情報局CIA,協助反恐。據說正是依靠他們的協助，CIA找到了本拉登的蹤跡。Palantir 為此聲名大噪。其最新一輪融資4.5億美元，公司估值在200億美元，是僅次于uber, airbnb和小米的創業公司。

可是最近的一些爆料Palantir的一系列問題。去年有至少3個重要客戶終止了合同，包括可口可樂，america express, 和納斯達克。這些客戶一方面抱怨公司收費太高，會高達100萬美元每個月，感覺遠遠不值得。而且客戶和公司的年輕工程師合作起來非常頭疼。

Palantir公司上次宣布去年全年的“預約價值”是17億美元，但是實際上最后的收入只有4.5億美元。預約價值是客戶可能要支付的費用，包括很多試用期，免費用戶的合同價值。這兩個數據的巨大差距說明很少一部分客戶最后變成了付費用戶。

Palantir公司情況恰恰彰顯了大數據巨大數據價值獲取并不容易。

大數據中的確隱藏著大量價值，但價值的實現不在于數據分析本身，而在于數據與業務場景的碰撞。

Palantir的數據實踐中面臨的幾個問題：

1.數據的價值和行業場景緊密相關， Palantir擅長抓壞人， 通過大量的數據關聯，發現業務中的異常，進而通過異常的控制實現數據的價值， 這樣的場景在安全，金融等領域比較適合， 但當推廣到其它場景的時候，效果往往差強人意。深度行業場景的介入往往需要對行業的深度介入， 成本高， 周期長。

2.數據及分析人員本身也是成本， 大數據獲取成本， 數據科學家的高額成本，分析工作失敗的機會成本，還有數據價值的體現程度。這些都對大數據項目產生直接影響， 這些成本與價值比能否控制在一定范圍，長期看來，成本是否有線性下降的預期也是企業決策關鍵因素。

3.工程師的技能與思維能力，數據科學家培養及留住不易， 年輕工程師的培養，學習曲線和成本都是需要考慮的點。

數據價值之路的幾個里程碑

Gartner有一個非常簡單和清晰的數據分析和難度的劃分模式從數據分析的難度到數據價值的實現給出了4個層面的定義。這四個層面的定義也非常適合被看作是我們數據價值探索上的4個里程碑。

?描述(Descriptive)，解決什么發生的分析，是相對簡單的分析。 描述性的分析通常需要把大數據沉淀成為更小的，更高價值的信息，通過匯總來對一個已經發生了事件的提供洞察和報告。

?診斷(Diagnostic)，在事件數據描述的基礎上， 提供對原因的深度分析， 通常需要更多維度的數據， 更長時間的數據跨度， 通過關聯分析發現事件與數據之間的關聯關系。

?預測(Predictive)，預測性分析通過一系列的統計，建模，數據挖掘和機器學習等技術來學習近期和歷史數據， 幫助分析師對未來做一定的預測。

?規范分析(Prescriptive)，規范性分析突破了分析并擴展到執行階段， 結合了預測，部署， 規則，多重預測，評分，執行和優化規則， 最終形成一個閉環的決策管理能力。

過去的實踐表明，75%以上的數據分析場景是描述性的分析，大部分企業已經建立的數據倉庫和BI系統都可以歸于這一場景，日常運營報告，運營儀表盤， 駕駛指揮艙等都屬于這一類的應用的實現。 診斷和預測類分析應用則更多使用在推薦， 運營異常分析等特定場景中， 使用的范圍較小， 效果參差不齊。而規范分析的場景直接打通了分析與執行，目前主要是體現在自動駕駛， 機器人等更為特定業務場景中。在商業環境中， 數據的價值需要的不僅僅是分析， 真正的價值是通過數據分析后的業務決策和業務執行獲得的。

筆者用下面的這張圖來描繪數據的價值之路， 越是向右，數據體現的業務價值指數越高， 體現的業務價值越高。

圖中淺綠和深綠的部分是大量的人工參與過程， 幫助對前面數據分析的過程和結果進行進一步的人工處理和加工。在過去IT主導的時代這兩個部分往往由IT部門承擔，被業務需求驅動，實施的效果不好，還往往成為業務部門詬病的對象。大數據時代，業務部門深度參與，逐漸成為數據的主要使用者和創新者，通過數據分析，業務人員解讀，豐富，判斷，決策，并最終完成執行的閉環，實現數據的價值化。