盡信書不如無書 大數據分析要去偽存真

    大數據行業發展速度令人瞠目結舌，大數據分析為企業帶來巨大價值，已經成為企業決策新助手。但中國有句古話“盡信書不如無書”，其實大數據分析沒有你想象的那么完美。這主要是由于大數據中并不是所有的數據對用戶都有價值，一些垃圾信息甚至對數據價值帶來深深的傷害，如何對收集的數據進行篩選、去偽存真，才是大數據真正實現價值的關鍵。

    何為垃圾信息？

    什么是垃圾信息，簡單的說，就是那些混在大量有用的信息中的無用信息，有害信息，以及對大數據分析結果帶來影響的信息。

    但垃圾信息并不是絕對的，可能這種信息對于用戶甲是無用的，對無分析結果是有害的，但是對于用戶乙來說，可能就是有用的信息。所以不同行業的用戶要學會區分自己數據中的信息哪些是垃圾信息，是無用的。

    常見的垃圾信息：

    在我們的日常生活中，各種垃圾信息可以說是無處不在。例如，當下網絡上擁有一大批的網絡水軍，這些人產生了大量的垃圾信息，對大數據分析結果造成惡劣的影響。在去年上映的《X的盛宴》，宣傳方雇傭了大批水軍進行刷分，造成了評分很高，但是觀后的口碑很差，最后主辦方不得不出面道歉息事寧人。這些網絡水軍的數據就是垃圾信息。

網絡水軍（圖片來自xinmin）

    當然類似的例子還很多，在前幾年淘寶開店火爆的時候，有專門為賣家刷鉆的工具，這樣的結果造成了很多店家雖然鉆的級別很高，但是產品以及售后服務名不副實。微博用戶刷粉盛行一時，很多網絡大V的真實粉絲很少；論壇刷回復貼，營造論壇很火的局面；電商網站促銷期間刷交易單數。等等，這些垃圾信息都深深傷害了數據的價值。

    大數據市場當前情況：

    不可否認的是大數據擁有巨大的價值，但是就目前情況看來，大數據更像是鏡中花水中月，看似美好，實則言過其實。在浩如煙海的數據中心去發掘對用戶有價值的數據，就好比在垃圾場撿拾寶貝一樣，就好比在沙漠中尋找寶石一樣。

    那么，如何從大量數據中心獲得對用戶有價值的信息呢？下面讓我們看一下當前人們是如何剔除垃圾信息，尋找數據價值。

    剔除數據中的垃圾信息的作用？

    為何要剔除這些垃圾信息呢？其中一點上文中我們已經提到，這些垃圾信息影響我們的數據分析結果，讓數據價值難以體現，其實這只是垃圾信息的一種危害。同時，過多的垃圾信息還會造成客戶基礎設施的瓶頸，給系統帶來負擔，并增添存儲、主機等設備成本，大大增加企業用戶的運維成本。那么如何去除這些垃圾信息呢？

企業存儲架構

    如何剔除數據中的垃圾信息？

    大數據相比于傳統的數據有著一個重要的區別，那就是非結構化數據的出現，這讓傳統的按照原本特定的規則和參數剔除垃圾信息的方式失去了用武之地。大數據時代需要新的垃圾信息剔除方式。但如今大數據正處于發展出去，各大IT廠商雖然都競相推出了大數據解決方案，但是針對垃圾信息剔除方面的方法幾乎沒有。

    筆者認為不妨從以下兩個方面入手：

    人力方面:如今的大數據分析方面缺乏只能，這樣很多解決方案并不能真正的實現智能分析，而人工就要承擔其中的智能部分。有些數據分析問題會被發送于負責相應問題的專員，由相關的大數據分析專業人員提供問題的解決方案。

缺少大數據人才

    但如今，針對大數據分析方面的專業人才極其缺乏。據麥肯錫調查，至2018年，美國市場將出現近20萬深度大數據分析的專業人才、150萬能夠進行數據解析的職業經理人的職位缺口。大數據專業人才不僅需要多年的數學知識積累，還需要有編程、業務知識等綜合能力，是稀缺的復合型人才；而對于聘用企業來說，也很難有合適的職位適合此類人才。

    IT廠商方面：除了在人力方面加大力度，培訓專業的人才。還需要更多的大數據廠商來提供更加智能的解決方案，光靠人力顯然是不夠的。

    在未來面對這么大一堆的垃圾，這將是大數據廠商的一個重要挑戰。廠商們需要確立新的數據標準，幫助用戶更加深入的分析數據，能夠智能分辨數據的級別，自動剔除重復的、同一IP地址的或者惡意干擾的數據，這樣才會大大加快數據分析的速度。從無到有，有的時候可能就是一點點，然后需要一點點時間，逐步的積累，這是對大數據廠商的長期考驗。

    那么是否是有了大數據就萬事俱備了呢？

    大數據分析需要注意時效性

    數據去偽存真是為了增強數據的有效性，但同時也要注意數據的時效性，數據的時效性同樣決定了大數據分析結果。我們需要根據不同的需求來確認數據的時效性，過時的東西我們即使分析出來了也不會我對我們的決策產生影響。

大數據分析需要注意時效性

    例如，對于投資行業來說，這一時效性是至關重要的，投資行業需要根據市場上的數據快速的分析出結果，分析結果出現的越快，給用戶帶來的利益可能就更大，相反的話甚至可能造成資金的損失。

    以人為本 大數據應以輔為主

    大數據分析能夠為我們最有價值的信息，能夠幫助我們下達最有利于公司發展的覺得。但是對于用戶來說，完全依靠大數據分析卻并不可行。畢竟我們分析的數據都已經是發生的事情，大數據分析結果只能夠給我們提供參考，但是在前變化萬花的市場，還需要有一個精明的決策者，依靠大數據，一錘定音，決定企業的發展。

    大數據分析并不是神，其只能給我們提供參考，幫我我們分析過去的發生的事情的規律，對我們未來進行預測，但是如今的大數據分析依然不夠智能，很多因素大數據分析并不能考慮到。例如，當年諾基亞和摩托羅拉稱霸手機市場的時候，我們收集的信息也全部是關于這兩個品牌的，但是誰能夠預測到安卓手機和蘋果手機的崛起速度。

    綜上所述，在企業中，大數據在企業決策方面更多的是扮演輔助的角色，而不是最終的決策者。大數據中的數據包羅萬象，并不是簡單的數據分析就能夠得多最有利的結果的。在激烈的市場競爭中，大數據分析會越來越重要，但卻依然是人類的輔助者。