大數據：引發思想啟蒙

國際上，大數據還真是熱火朝天，各方都在積極行動。一方面，政府積極介入推動。2009年，聯合國啟動“全球脈動計劃”，借大數據推動落后地區發展。2012年1月，世界經濟論壇年會把“大數據、大影響”作為重要議題。美國從開放政府數據、開展關鍵技術研究和推動大數據應用三方面布局大數據產業。美國在開放政府上非常積極，通過Data.gov開放37萬個數據集，并開放網站的API和源代碼，提供上千個數據應用。除了推動推動本國政府數據開放，美國倡導發起全球開放政府數據運動， 已有41個國家響應。美國政府還投資兩億美元促進大數據核心技術研究和和應用，把大數據放在與集成電路、互聯網同等重要的位置，從國家層面推進。
    另一方面，資本市場也對大數據鐘愛有加。2012年4月，大數據分析公司Splunk高調IPO，引發投資者關注。12月初，為企業市場提供Hadoop解決方案的創業公司Cloudera在E輪融資中獲得6500萬美元融資，估值約為7億美元。近期，高盛聯席主席斯科特？斯坦福說：“投資大數據及其運用回報率最高”。大數據領域的企業并購熱度也在上升，單筆平均并購金額方面，大數據超過云計算位居IT領域榜首，在總并購額上也位居第二。
    在各方力量的推動下，大數據科研和產品開發逐漸活躍起來。一個新概念的興起，最初往往會有人快速地“新瓶裝舊酒”。已經存在好多年的商業智能、數據倉庫等技術被重新包裝，以大數據系統的面目出現在市場上。這也使人困惑：到底大數據與傳統數據分析技術有什么差別？可以說大數據最重要的特征是將數據處理的對象擴展到互聯網級別（Internet Scale），技術上的進展主要包括：1）單數據集達到PB級別；2）非結構化占主流；3）幾天至數秒內完成高速處理。技術形成了批處理、流處理和交互分析三種計算模式：離線批處理（Batch Processing）技術以MapReduce和Hadoop系統為代表，實時流處理（Stream Processing）技術以Yahoo的S4系統和Twitter的Storm系統為代表，交互式分析（Interactive Analysis）技術以谷歌的Dremel系統為代表。
   大數據的火爆，也帶動了國內學術界、產業界和政府對大數據的熱情，但筆者覺得更大意義在于喚醒了人們對數據的重視。今年以來，中國計算機學會、中國通信學會先后成立了大數據委員會，研究大數據中的科學與工程問題，科技部的《中國云科技發展“十二五”專項規劃》和工信部的《物聯網“十二五”發展規劃》等都把大數據技術作為一項重點予以支持。這些舉措著眼長遠，短期難以看到效果。但這種熱潮的確觸發了一場思想啟蒙運動，使得“大數據是資產，不是包袱”、“要拿數據說話”等觀念逐步深入人心，改變了以往不重視數據積累，不相信數據分析等認識。有了這種思維模式的改變，大數據的應用就有了希望。