懂得從大數據中還原數據真實_數據分析師

大數據當然需要大量、海量的數據，但究竟是不是有些研究者和論者所說的無限數據，是一個重大疑問。

　　要懂得從大數據中還原數據真實，《決戰大數據：駕馭未來商業的利器》一書傳達的這個觀點給筆者留下了深刻印象。大數據當然需要大量、海量的數據，但究竟是不是有些研究者和論者所說的無限數據，是一個重大疑問。信息搜集需要成本，還將面臨用戶隱私意識等障礙。更大的成本來源于存儲和分析。

　　信息和數據分布從來就遵循冪律特點，如果數據挖掘以拒絕遺漏為原則，將產生大量的無意義勞動消耗，因為根據一部分數據其實就可以得出足夠推導出80%-90%的結論。再者，大數據分析的重要意義在于改善實時分析，對數據搜集及處理速度有很高的要求，譬如電商企業不得不切實提高與用戶的有效互動，要盡可能依據掌握并不全面的用戶數據給出推薦，并就疑難及時響應。相反，如果數據處理和響應總帶有遲滯性，企業希望搜集到足夠的、全面的用戶數據再給予響應，就必然錯過時機。

　　海量數據還可能包含大量看上去彼此矛盾，甚至根本就帶有誤導性的數據內容?！稕Q戰大數據：駕馭未來商業的利器》一書的作者是阿里巴巴集團商業智能部副總裁、數據委員會會長車品覺，他在書中描繪了消費者通過智能手機等終端購物的一種常見場景：消費者早上看到某款好看的衣服，想要購買，在網上搜出大批量的相關商品；正在挑選時，被叫去開會，在開會時打開手機應用，發現了有誘惑力的促銷廣告，就下單購買了另外一類商品（比如手機）。

　　這起場景中，消費者先后使用了手機端和PC端，如果均保持同一個用戶名的登錄狀態，其搜索數據和最終購買數據匯集在一起顯然會讓許多數據分析師抓狂。如果企業要求數據分析師從這些數據挖掘、還原用戶的真實需求，難度可想而知。如果這一個消費者在手機端、PC端還使用不同用戶名，又該搜集哪些、多少數據，才能做到辨識其身份？

　　車品覺指出，“大數據的真正價值是將數據用于形成主動收集數據的良性循環，以帶動更多的數據進入這個自循環中”。要做到這一點必然是困難的，上述場景非常常見，直接原因是普通消費者使用互聯網具有多場景，完全可能靈活的輪換使用PC端、手機端、智能穿戴設備等終端；往深了說，移動互聯網時代，很多人的注意力是高度渙散的。許多時候，用戶可能長時間停留于某個頁面，這并不能表明其一定是在專心停留閱讀，更大的可能在于消費者這時有事走開了，或者切換到別的終端界面。因此，數據挖掘分析必須承認這種手段的相對有效性、局限性。

　　書中提出，數據具有5大價值：識別與串聯價值（根據大數據中的核心數據對用戶真實身份、真實行為進行還原）、描述價值（在特定框架內找出核心用戶、緊密購買行為數據）、時間價值（在特定時間段分析歷史數據）、預測價值、產出數據的價值。這其中提到的特定框架，也就是說從海量數據中根據關聯性，提取核心有用數據的范圍。比如一個企業要判斷是否繼續使用導航網站的廣告，就要明確導航網站引進的新老用戶比、引進的新老用戶的投入產出比和轉化率、推斷一旦撤去廣告會帶來的流失影響，還要對競爭對手進行行為分析預測（對方可能加強導航廣告投入），這些限定因素將使得數據提取及后續分析就不會毫無章法。

　　這本書第二部分對阿里巴巴的大數據實踐作了基本介紹。阿里巴巴成長到今天的規模，還能繼續駕馭宏大的產品線和業務范圍，電商行業內外有識之士都認為這應歸功于阿里巴巴能夠很好的實現數據化運營，可以通過海量數據成功實現即便是細小范圍內的業務對比、細分及趨勢預估。車品覺分享指出，阿里巴巴數據化運營落地是從“人”做起，利用好了“混、通、曬”三板斧?！盎臁本褪亲寯祿治鰩熍c業務部門的人經?！盎臁痹谝黄?，這是確保兩大部門培養商業和數字直覺的前提；“通”就是打通“混”的數據；在此基礎上，讓數據得以最有效的獲取、使用、分享、協同、連接和組合，就是“曬”。

　　車品覺認為，2011年起，阿里巴巴已經開始從數據化運營向運營數據發展，形成了良性循環，走到了運營數據的外三板斧“存、管、用”?！按妗敝傅氖撬鸭⒋鎯τ行祿?；“管”涵蓋了數據的安全管理、讓數據更趨準確穩定、更好運用數據等范疇；“用”，就是要從數據本身實現分裂和重組，推動顛覆性創新。書中就此對“用”這一層次，結合作者長期以來的從業實踐及對京東、一號店等其他知名電商企業運營經驗的觀察，展開了頗為深入的梳理剖析。文章來源：CDA數據分析師培訓官網