對大數據的八大觀點分析

越來越多程序員也涌入大數據行業，但是仔細問一些從業人員什么是大數據?鮮有人知道?就算知道的，最常引用Victor的4V理論，大量(Volume)，快速(Velocity)，種類多(Variety)，價值(Value)，但究竟多大是大?多快是快?幾種算種類多?每個人都有自己的觀點。最核心的問題還不在數量和種類，而是價值(Value)。什么是大數據的價值?如何體現它的價值?如何衡量它的價格 ?它能夠變現么?如何來變現卻是大數據的核心問題。

做大數據的同學，外面看起來像是紅樓夢的大觀園一樣，外表光鮮亮麗，身在其中的人，才知道各有各的無奈。大數據的處理通常分為，數據收集，數據清洗，數據加工。數據應用，數據可視化。數據收集同學總是抱怨數據源Garbage in, Garbage out的感覺，數據清洗的同學總有沙里淘金的感覺，數據加工的同學也經常受兩頭氣，相比來說，做數據可視化的同學比較幸運，可以找到很多炫酷的感覺，但有不是大數據的主流技術。最難受的是做大數據應用/變現的同學，不得不靠著忽悠行走江湖。

觀點如下：

大數據的信息熵值低

大數據不是銀彈是螞蟻效應

大數據不解釋因果，更關心相關性

數據資源公司最佳是被收購，最好應用是廣告和泛征信

大數據是對用戶隱私的汲取

用戶數據無法用過定價來進行數據交易

搞清楚業務，再談大數據也不晚

大數據的價值是真水無香

觀點一 ：大數據的信息熵值低

1948年，香農提出信息熵的概念，可以用于表述信息的價值，信息熵高的言簡意賅，信息熵低的冗余拖沓。目前，很多大數據的來源都是一些系統的Log，圖片，視頻等。特別是日志系統數據，數據越來越多，越來越大，其中大部分是固定模板的數據，區分度差，信息量并沒有隨著數據的增加而線性增加。另外舉個例子，之前我們使用膠卷照片的，我們會選擇重要的場景，珍惜每一個照片，設計好角度和光圈，現在有數據相機了，內存近乎無限大了，大家肆無忌憚的自拍，哪怕都是同一個角度，大家照的廢片也是一把一把的。同一類型的數據多了，信息熵也就降低了。

觀點二：大數據不是銀彈，而是螞蟻效應

大數據應用常見，多見于推薦系統，業務流程優化，醫療，性能優化，預測，金融交易等，這些業務在傳統的做法上，已經十分依賴于數據了，雖然以前不叫大數據，但是也都是數據驅動的業務。數據的規模和種類增多，處理方法的增多，會漸漸提高這些應用的精準性，這種提高一定是漸漸的，一點一滴的。也許一天兩天感覺不錯來的，但是經過多年的持續改進，這種效果是顯而易見的。

舉個例來說，語音識別起始于60年代，基于小型詞匯庫，在90年代，IBM推出的ViaVoice是語音識別的一個里程碑，基于復雜隱式馬爾科夫模型(HMM)或者神經網絡算法更加成熟，數據也是基于大量的詞匯庫，語料庫。新聞聯播曾經就是ViaVoice中文版本的重要訓練語庫。雖然用了更大的語料庫，效果有改進，但是還無法達到實用的程度。2009年以后，借助于互聯網語料庫的進一步豐富，數據料的增長，遠遠超過算法的改進程度。語音識別在準確性和實用性得到很大的提升，用戶也不斷使用語音識別反饋更多的數據。以至于，谷歌公司人工智能方面的專家彼得·諾維格(Peter Norvig) ，和他的同事在一篇題為《數據的非理性效果》(The Unreasonable Effectiveness of Data)的文章中寫道，“大數據基礎上的簡單算法比小數據基礎上的復雜算法更加有效?！?。大數據正在一步一步的解決一些科技應用難題，例如自動駕駛，人工智能等。

觀點三：大數據不解釋因果關系，只關心相關性

《大數據時代》中定義了大數據的第三個特征，“不是因果關系，而是相關關系”。沃爾瑪通過數據挖掘，發現蛋撻和颶風產品有很多關聯性，并且放在一起銷售提高銷售量。沒有人清楚其中的因果關系，當然，也可能有人牽強的解釋，美國人喜歡颶風時期躲在家里吃蛋撻，通過數據我們獲得了相關性，但是卻不理解其中因果關系。我突然想起來自于《三體》的降維攻擊：很多時候我們在二維世界的相關性，是無法在二維世界進行解釋因果的，也許只有在三維或者多維世界才能夠解釋因果關系，而這種因果關系無法直接理解，只能進行歸納成相關關系。

觀點四： 大數據資源公司最佳變現是被收購，最直接變現渠道是廣告和泛征信

很多專業大數據服務公司的發展都不走上市之路(注意不包括大數據技術公司)，因為他們對于變現的能力和可持續性都有很多顧慮，他們也面臨高風險的用戶隱私挑戰，因此很多大數據資源公司的PR工作，遠遠多于具體落地的數據服務工作。因此，各個專業大數據公司都忙于各種行業洞察報告和排行榜，數據可視化的工作一個比一個炫麗，一個比一個追熱點。談到大數據公司的變現，很多公司會提到“數據服務”，實際上數據服務的市場相對穩定，并沒有因為大數據公司的發展而市場膨脹，因此“數據服務”實際上是一個明顯的“僧多粥少”的狀態，另外老牌的數據公司，例如Nielson等在客戶方便還是有一定的優勢。

收購成為大數據公司變現最佳方式，2014年Oracle收購BlueKai獲得很多眾互聯網用戶數據，BlueKai的數據來源于和很多小網站進行數據交換和購買，尼爾森公司收購了DMP公司eXelate，eXelate的數據來源各個合作伙伴的數據，它提供了數據共享和交換的平臺，創建DMP支持廣告優化投放。

既然數據服務不容易攢錢，那么有沒有靠譜的變現途徑呢?從目前來說，廣告和泛征信是兩個最有效的變現渠道，效果廣告的精確投放，品牌廣告主需要強烈的數據背書，這些都需要數據服務，因此在廣告行業專業的DMP公司，對于程序化交易是必不可少的。另外，就是征信系統，金融的本質是一個套信用系統，這就是為什么各大互聯網公司都早早進入金融業務。目前很多P2P公司是否能夠生存，主要依據就是風險控制，大數據是重要技術支持，因此很多P2P會采購大量數據資源，加強自己的征信系統。

觀點五：大數據是對用戶隱私的汲取

大數據正在結合智能設備的普及而大力推進，例如攝像頭，手機，智能穿戴設別等。 其中，大量用戶隱私數據被收集，例如用戶地址，交易數據，搜索數據，用戶的地理位置信息，用戶的脈搏，聯系人列表等等。這些都是用戶的個人數據，各大數據公司都通過改善服務為借口，獲得用戶的授權，而進行隱私的汲取和偷窺。

也有一種聲音，這些數據是為了讓你享受更好的服務。這里面也是很多邏輯問題。首先，服務商提供更好的服務，并不代表可以收集用戶的隱私數據;其次，很多公司不提供不收集用戶隱私數據的服務的選項，這讓很多用戶無法選擇禁止用戶隱私數據收集，這是一種利用市場地位的壟斷和霸王條款;而后，所有數據公司沒有提供數據清理功能，刪除用戶所有的歷史數據。這意味著，你的隱私數據一旦被收集，可以被無限次的無范圍的濫用。

觀點六： 用戶數據是無法通過定價而進行交換的

大數據采集公司，都有數據變現需求。對于數據采集公司來說，雖然能做一些數據分析和預測，但這些分析服務的費用較少(在成為頂級咨詢公司之前)，很難持續公司的正常運作，只能繼續燒錢或者被收購。對于數據采集公司來說，很多人認為數據可以在公開公正公平的數據市場中變現，不少市面上的DMP都提供了一些數據交易平臺，希望數據項商品一些安全，公平的交易.

原因有以下幾個：

1. 大數據的價值無法用價格來衡量：

a)同一份數據對于不同客戶價值不同，不同拷貝后價值也不同。

b)數據定價太低，賣方有注水動機;如果定價太高，買家也難以接受，而且數據報價都是暗拍的。

用戶數據交易是玩火自焚

在各種大數據的應用中，用戶的個人數據在很多場景中是最有價值的，這些數據一旦流入到市場或者黑市，社會后果將不堪設想，而且數據泄露者還面臨法律風險，因此數據交易無法在公開的數據交易市場進行。一些脫敏技術可以讓數據難以反追查，但是脫敏技術的尺度把握卻是在人的手上，它很容易引入各種法律風險。

觀點七：大數據的價值是真水無香

滿大街唾沫橫飛的大數據，讓人覺得不懂大數據是一種羞恥。最近面試過好些候選人，做沒做過數據都說想做大數據，而且是非大數據/機器學習不做，問他為什么要做大數據，所有回答都是這是趨勢，不轉型，寧等死，大數據可以挖掘出很多價值，幫助業務增長，這種感覺很好。

反過頭來，看看工作中搞大數據技術的同學，每天通過腳本處理成千上萬的數據，每天苦逼的處理各個數據格式，數據清洗，數據加工，數據分類/聚類，好不容易生成一些數據洞察結果，也需要用一大堆腳本和數據進行二次驗證，包括精準率/召回率。這是一種苦逼，而且需要自己挖掘樂趣的工作。

確實，在一種新的數據洞察或大數據應用出來的時候，確實對于產品的提升很有幫助，為了保持保護這種提升，需要不斷的對于數據進行清理，提高及時性，這種數據的維護工作慢慢會變成大數據工作者的很大一部分工作。這個過程有點像，一個系統的完善性維護工作，占了軟件開發的很大一部分工作。 這部分數據價值對于產品競爭力的提升也會漸漸平淡，投入產出比越來越低。但是這些完善性維護工作，卻不能停。一旦停止，對于業務會帶來負增長，因此這種維護性的工作會變的越來辛苦。這個時候業務對于數據的以來就像人們對白開水的需求一樣，平時覺得沒有味道，但是缺少的馬上就感到口渴，甚至渴死。

觀點八：搞清楚業務之后，再談大數據也不晚

目前很多行業峰會都沾上“大數據”的光環了，以前的站長大會也變成”自媒體大數據峰會”了，以前的互聯網運營大會也變成”大數據運營峰會”了，以前的軟件研發大會也加入了一個“大數據”分會場了。這是一個大數據唾沫橫飛的世界，一不小心你就參與其中了。

我參加過幾個大數據會議，有很多人是慕名而來(我自己也是其中之一)，努力將自己的工作和大數據掛上鉤，搞數據分析的說自己分析的是大數據，搞技術的說自己運用了大數據技術，搞應用的說自己的大數據驅動的業務。最后，誰也不知道大數據是什么，好像和數據之間沒有太多本質的區別，只是多了一個“大”字而已。

我認為，這不是什么壞事，無論是使用“信息化”，“大數據”，“數據時代”，“數據挖掘”，“認知計算”，“深度學習”等詞語，只要能夠解決業務的問題，推進社會更加美好，就是一份有意義的工作。無論大數據還是小數據，解決業務問題就是好數據。