三道坎要大數據真正落地_數據分析師

大數據無疑是今年時髦的詞匯了。不管是云計算、社交網絡，還是物聯網、移動互聯網和智慧城市，都要與大數據扯上關系。各種與大數據有關的會議、文章、書籍鋪天蓋地。有人談論大數據時代的公民生活，也有人談論大數據時代網絡反腐。仿佛一夜之間我們就進入了大數據時代。

    大數據火爆，引發思想啟蒙

    國際上，大數據還真是熱火朝天，各方都在積極行動。一方面，政府積極介入推動。 2009年，聯合國啟動“全球脈動計劃”，借大數據推動落后地區發展。2012年1月，世界經濟論壇年會把“大數據、大影響”作為重要議題。美國從開放政府數據、開展關鍵技術研究和推動大數據應用三方面布局大數據產業。美國在開放政府上非常積極，通過Data.gov開放37萬個數據集，并開放網站的 API和源代碼，提供上千個數據應用。除了推動推動本國政府數據開放，美國倡導發起全球開放政府數據運動， 已有41個國家響應。美國政府還投資兩億美元促進大數據核心技術研究和和應用，把大數據放在與集成電路、互聯網同等重要的位置，從國家層面推進。

    另一方面，資本市場也對大數據鐘愛有加。2012年4月，大數據分析公司Splunk高調IPO，引發投資者關注。12月初，為企業市場提供Hadoop解決方案的創業公司Cloudera在E輪融資中獲得6500萬美元融資，估值約為7億美元。近期，高盛聯席主席斯科特·斯坦福說：“投資大數據及其運用回報率最高”。大數據領域的企業并購熱度也在上升，單筆平均并購金額方面，大數據超過云計算位居IT領域榜首，在總并購額上也位居第二。

    在各方力量的推動下，大數據科研和產品開發逐漸活躍起來。一個新概念的興起，最初往往會有人快速地“新瓶裝舊酒”。已經存在好多年的商業智能、數據倉庫等技術被重新包裝，以大數據系統的面目出現在市場上。這也使人困惑：到底大數據與傳統數據分析技術有什么差別？可以說大數據最重要的特征是將數據處理的對象擴展到互聯網級別（Internet Scale），技術上的進展主要包括：1）單數據集達到PB級別；2）非結構化占主流；3）幾天至數秒內完成高速處理。技術形成了批處理、流處理和交互分析三種計算模式：離線批處理（Batch Processing）技術以MapReduce和Hadoop系統為代表，實時流處理（Stream Processing）技術以Yahoo的S4系統和Twitter的Storm系統為代表，交互式分析（Interactive Analysis）技術以谷歌的Dremel系統為代表。

    大數據的火爆，也帶動了國內學術界、產業界和政府對大數據的熱情，但筆者覺得更大意義在于喚醒了人們對數據的重視。今年以來，中國計算機學會、中國通信學會先后成立了大數據委員會，研究大數據中的科學與工程問題，科技部的《中國云科技發展“十二五”專項規劃》和工信部的《物聯網“十二五”發展規劃》等都把大數據技術作為一項重點予以支持。這些舉措著眼長遠，短期難以看到效果。但這種熱潮的確觸發了一場思想啟蒙運動，使得“大數據是資產，不是包袱”、“要拿數據說話”等觀念逐步深入人心，改變了以往不重視數據積累，不相信數據分析等認識。有了這種思維模式的改變，大數據的應用就有了希望。

    空談誤國，拒絕被大數據忽悠

    炒作歸炒作，但真正可以落地，或者已經落地的應用有哪些？在哪里？聯合國“全球脈動（Global Pulse）”今年5月發布的報告，給出了用Twitter預測大米價格、用谷歌趨勢（Google trends）跟蹤登革熱疫情等生動案例；美國中央情報局官員也披露大數據在幫助他們追捕恐怖分子方面立下功勞；有人聲稱成功利用Twitter預測了本屆美國大選。這些聽起來很炫的案例在各種場合被人們反復引用。各大咨詢公司和解決方案提供商也都會盡力挖掘大數據的應用場景。但實際看到的大規模應用案例除了互聯網搜索引擎、電商和社交網站，以及少數國家的政府網站外，其他領域還并不多見。國內應用案例就更是鳳毛麟角了。

    空泛的炒作時間長了難免令人厭倦。有人開始質疑，大數據是大價值還是大忽悠？也有人警告說，“大數據是機會，但不是所有人的機會”，只有擁有大數據的大型企業和政府機構才有應用大數據的潛力與機會；“大數據的確會有價值，但沒有那么大”，就看你會不會挖掘，是否善于運用數據分析的結果了。只有冷靜分析大數據對自身的價值與機遇，才能避免被忽悠。

    實干興邦，破除大數據落地三大障礙

    應該說，全球來看，對大數據認識、研究和應用還都處于初期階段。特別是對我國來說，大數據真正落地，還需要邁過三道坎。

    第一，數據是否足夠豐富和開放？豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低于美歐，每年新增數據量僅為美國的7%，歐洲的12%，其中政府和制造業的數據資源積累遠遠落后于國外。就已有有限的數據資源來說，還存在標準化、準確性、完整性低，利用價值不高的情況，這大大降低了數據的價值。同時，我國政府、企業和行業信息化系統建設往往缺少統一規劃和科學論證，系統之間缺乏統一的標準，形成了眾多 “信息孤島”，而且受行政壟斷和商業利益所限，數據開放程度較低，這給數據利用造成極大障礙。制約我國數據資源開放和共享的一個重要因素是政策法規不完善，一方面欠缺推動政府和公共數據的政策，另一方面數據保護和隱私保護方面的制度不完善抑制了開放的積極性。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的第一道砍。

    第二，是否掌握強大的數據分析工具？要以低成本和可擴展的方式處理大數據，這就需要對整個IT架構進行重構，開發先進的軟件平臺和算法。這方面，國外又一次走在我們前面。特別是近年來以開源模式發展起來的Hadoop等大數據處理軟件平臺，及其相關產業已經在美國初步形成。而我國數據處理技術基礎薄弱，總體上以跟隨為主，難以滿足大數據大規模應用的需求。如果把大數據比作石油，那數據分析工具就是勘探、鉆井、提煉、加工的技術。我國必須掌握大數據關鍵技術，才能將資源轉化為價值。應該說，要邁過這道坎，開源技術為我們提供了很好的基礎。

    第三，管理理念和運作方式能否適配數據化決策？大數據開發的根本目的是以數據分析為基礎，幫助人們做出更明智的決策，優化企業和社會運轉。哈佛商業評論說，大數據本質上是“一場管理革命”。大數據時代的決策不能僅憑經驗，而真正要“拿數據說話”。因此，大數據能夠真正發揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構的與大數據技術工具相適配。這或許是我們最難邁過的一道坎了。