大數據時代處理數據的三大轉變

大數據概念的橫空出世，有賴于短短幾年出現的海量數據。據統計，互聯網上的數據每兩年翻一番，而目前世界上90%以上的數據都是最近幾年才產生的。當然，海量數據僅僅是“大數據”概念的一部分，只有具備4個“V”的特征，大數據的定義才算完整，而價值恰恰是決定大數據未來走向的關鍵。

大數據發展必備三個條件

大數據的發展需要三個必要條件：數據源、數據交易、數據產生價值的過程。近年來，社交網絡的興起、物聯網的發展和移動互聯網的普及，誕生了大量有價值的數據源，奠定了大數據發展的基礎。大數據時代到來的重要標志，則是大批專業級“數據買賣商”的出現，以及圍繞數據交易形成的，貫穿于收集、整理、分析、應用整個流程的產業鏈條。大數據發展的核心，則是使用戶從海量的非結構化數據和半結構化數據中獲得了新的價值，數據價值是帶動數據交易的原動力。

IBM、甲骨文、SAP近年紛紛斥巨資收購數據管理和分析公司，在這些互聯網巨頭的帶動下，數據分析技術日漸成熟。2013年6月，愛德華·斯諾登將“棱鏡計劃”公之于眾，“棱鏡門”事件一方面說明大數據技術已經成熟;另一方面也佐證了現在阻礙大數據發展的不是技術，而是數據交易和數據價值。

大數據技術的發展促進了云計算的落地，云計算的部署完成又反過來加大了市場對數據創造價值的期待。大數據概念提出之后，市場終于看到了云計算的獲利方向：各地的一級系統集成商與當地政府合作，建云數據中心;各大行業巨頭在搭建各自行業的云平臺;IT巨頭想盡辦法申請中國的公有云牌照。大數據促成了云計算從概念到落地。借助于智慧城市概念的普及，云計算基礎設施已基本準備就緒，一方面完成了大數據應用的硬件基礎;另一方面迫于回收云計算投資的壓力，市場急需應用部署，大數據恰如雪中送炭，被市場寄予厚望。

現在，問題的核心指向了“數據如何創造價值?”

整合與開放是基石

大數據服務創業公司Connotate對800多名商業和IT主管進行了調查。結果顯示，60%受調查者稱：“目前就說這些大數據投資項目肯定能夠帶來良好回報尚為時過早?！敝匀绱?，是由于當前大數據缺乏必需的開放性：數據掌握在不同的部門和企業手中，而這些部門和企業并不愿意分享數據。大數據是通過研究數據的相關性來發現客觀規律，這依賴于數據的真實性和廣泛性，數據如何做到共享和開放，這是當前大數據發展的軟肋和需要解決的大問題。

2012年美國大選，奧巴馬因數據整合而受益。在奧巴馬的競選團隊中有一個神秘的數據挖掘團隊，他們通過對海量數據進行挖掘幫助奧巴馬籌集到10億美元資金;他們通過數據挖掘使競選廣告投放效率提升了14%;他們通過制作“搖擺州”選民的詳細模型，每晚實施6.6萬次模擬選舉，推算奧巴馬在“搖擺州”的勝率，并以此來指導資源分配。奧巴馬競選團隊相比羅姆尼競選團隊最有優勢的地方：對大數據的整合。奧巴馬的數據挖掘團隊也意識到這個全世界共同的問題：數據分散在過多的數據庫中。因此，在前18個月，奧巴馬競選團隊就創建了一個單一的龐大數據系統，可以將來自民意調查者、捐資者、現場工作人員、消費者數據庫、社交媒體，以及“搖擺州”主要的民主黨投票人的信息整合在一起，不僅能告訴競選團隊如何發現選民并獲得他們的注意，還幫助數據處理團隊預測哪些類型的人有可能被某種特定的事情所說服。正如競選總指揮吉姆·梅西納所說，在整個競選活中，沒有數據做支撐的假設很少存在。

2012年3月，美國奧巴馬政府宣布投資2億美元啟動“大數據研究和發展計劃”，將“大數據研究”上升為國家意志。一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要組成部分。國內智慧城市建設目標之一就是實現數據的集中共享。

合作共贏的商業模式

隨著云計算、大數據技術和相關商業環境的不斷成熟，越來越多的“軟件開發者”正在利用跨行業的大數據平臺，打造創新價值的大數據應用，而且這一門檻正在不斷降低。因為首先，數據擁有者能夠以微乎其微的成本獲取額外的收入，提高利潤水平;其次，大數據設備廠商需要應用來吸引消費者購買設備，發展合作共贏的伙伴關系勢必比單純銷售設備要有利可圖，一些具有遠見的廠商已經開始通過提供資金、技術支持、入股等方式來扶持這些“軟件開發者”;第三，行業細分市場的數據分析應用需求在不斷加大，對于整個大數據產業鏈來說，創新型的行業數據應用開發者必將是未來整個大數據產業鏈中最為活躍的部分。

未來，有三種企業將在”大數據產業鏈“中處于重要地位：掌握海量有效數據的企業，有著強大數據分析能力的企業，以及創新的“軟件開發者”。社交網絡、移動互聯網、信息化企業、電信運營商都是海量數據的制造者，Facebook公司手中掌握著8.5億用戶，淘寶注冊用戶超過3.7億，騰訊的微信用戶突破3億，這些龐大用戶群所提供的數據，正在等待時機釋放出巨大商業能量?？梢灶A測，在不久的將來，Facebook、騰訊、電信運營商等海量數據持有者或者自我延伸成為數據分析提供商，或者與IBM、ZTE等企業密切對接成為上下游合作企業，大數據產業鏈將在某個爆發時點到來之際，以令人驚訝的速度成長壯大。

警惕大數據的危害

大數據時代，傳統的隨機抽樣被“所有數據的匯攏”所取代，人們的思維決斷模式，已可直接根據“是什么”來下結論，由于這樣的結論剔除了個人情緒、心理動機、抽樣精確性等因素的干擾，因此將更精確、更有預見性。不過，由于大數據過于依靠數據的匯集，一旦數據本身有問題，就很可能出現“災難性大數據”，即因為數據本身的問題，而導致錯誤的預測和決策。

大數據的理論是“在稻草堆里找一根針”，而如果“所有稻草看上去都挺像那根針”呢?過多但無法辨析真偽和價值的信息和過少的信息一樣，對于需要作出瞬間判斷、一旦判斷出錯就很可能造成嚴重后果的情況而言，同樣是一種危害?！按髷祿崩碚撌墙⒃凇昂Ａ繑祿际鞘聦崱钡幕A上，而如果數據提供者造假呢?這在大數據時代變得更有害，因為人們無法控制數據提供者和搜集者本人的偏見。擁有最完善數據庫、最先接受“大數據”理念的華爾街投行和歐美大評級機構，卻每每在重大問題上判斷出錯，這本身就揭示了“大數據”的局限性。

不僅如此，大數據時代造就了一個數據庫無所不在的世界，數據監管部門面臨前所未有的壓力和責任：如何避免數據泄露對國家利益、公眾利益、個人隱私造成傷害?如何避免信息不對等，對困難群體的利益構成傷害?在有效控制風險之前，也許還是讓“大數據”繼續待在籠子里更好一些。

大數據的經濟價值已經被人們認可，大數據的技術也已經逐漸成熟，一旦完成數據的整合和監管，大數據爆發的時代即將到來。我們現在要做的，就是選好自己的方向，為迎接大數據的到來，提前做好準備。