大數據的挑戰問題和發展趨勢_數據分析師

Hadoop大會是2008年的時候幾十個人在金融所的樓里面討論的Hadoop  IN  China，從去年開始上千人到今年有更多的人參加本身就反映了一種趨勢。也就是說為什么今年把名字改成了Hadoop與大數據技術大會，實際上大數據不是今年就一定有。大數據的時代已經到來了，五年前我們組織Hadoop  IN  CHINA這個會已經和今天的大數據的主題比較切合，今年大數據的概念比較大，所以我們把題目改成了Hadoop與大數據技術大會大會。

　　當然，大數據不僅僅與Hadoop相關，傳統的關系數據庫和結構化存儲相關的技術，在大數據時代的時候是不是有什么新的問題，有什么新的挑戰，業界、學術界以及政府部門對相關的大數據是怎么看的。我估計今年至少從10月份以來，國內關于大數據的會議已經開了7、8次了，往后還會陸陸續續要開。這種情況下，中國計算機學會組織大數據專家委員會，不是為了趕熱鬧，而是組織專家委員會以及把Hadoop歸到大數據專家委員會來統一組織實際上是有它內在的理由和原因的。

　　為什么第一個報告我來講，去年的Hadoop大會叫數據掘寶，主題已經是跟大數據相關了。今年的主題叫大數據開源與技術共享，這實際上是大數據今年發展面臨的關鍵的問題。今天我是代表中國計算機學會專家委員會來發布大數據的熱點及未來的發展趨勢做一些調研跟大家分享。

　　這個工作的過程簡單地介紹一下，大數據執行委從今年10月在中國計算機大會上成立以來有70名委員，其中學術界有46位，產業界14位，還有海外學術界委員10位。我們在大連開會的時候探討過，既然大數據這么熱，而且在CNCC大會上有1600、1700人差不多每個人都說自己是做的大數據，無論是做物聯網的還是做高清計算的，所有人都說我做的是大數據。當時我們在想，既然整個計算機界人做的都是大數據，那什么是大數據。

　　我們是不是在趕時髦用同樣的一個詞裝各自所說的酒，也是基于這樣的考慮，大數據專家為第一次開會的時候希望能不能邀請業界的人士共同探討大數據的科學問題是什么、邊界是什么，以及為什么大數據成為熱點的詞以及大大數據技術上的挑戰到底是什么。當時的會議上我們提出了這樣的議案，最后在很短的時間內從調研分析以及具體的提案到侯選問題的征集到最后專家的投票、委員的投票會聚了現在的結果，這個過程持續了一個多月。

　　這只是初步的結果。

　　針對大數據問題我們搜集了14個選項，包括科學問題相關的數據的科學問題、大數據的基本內涵、計算模式，跟技術相關的是大數據的多樣性和數據態、大數據的空間維問題、時間維問題，如何將大數據變小及數據的價值提煉。數字都是70位委員的投票數。也包括了大數據的關鍵應用領域，以及大數據對IT技術和架構提出的安全與占、數據的安全和隱私。最后一個是大數據的生態問題。侯選項相互之間是有一定的重疊，而且顆粒度也不完全一致，完全是由專家自己提出來的，我們給他做了會聚，沒有做一些很精細的加工。但基本上大家的投票結果來看，投票率還是非常高的，比如說數據的計算模式問題關注度非常高。投票的初始結果我們給出了大數據熱點問題的八個方面。第一個方面是數據科學與大數據的學科邊界問題，涉及到侯選項的兩項，講到了數據界、物理界與人的關聯是什么，數據是不是客觀存在的空間和現象。還有數據有沒有獨立的問題。大數據的基本學科邊界有一個內涵和外延的限定，以及區別于其他數據的關鍵特征。最近有一本出版的數講的是大數據不見得規模大，而是比較全。當然這是一種新的說法的。也就是說大數據的基本問題和邊界是什么。這是我們關心的第一個大的方面。

　　第二個方面是數據計算的基本模式和范式問題，包括了數據密集型計算的基本范式是什么，以及數據計算的基本評估和數據計算的復雜性，以數據為中心去中心化的自主計算模式是不是數據計算的主要的模式。第三個熱點問題是大數據的特性和數據態的問題。從數據的復雜性來講，數據的關聯模式、關系為復雜，數據的空間為復雜，包括數據在人機物三個空間里以及柔性密度的所產生的空間維度的復雜性，以及跟時間相關的特性。我們把它總結為大數據的基本特性和數據態的問題。

　　第四個熱點問題是大數據的作用力與變化反應。包括了兩個方面，第一個方面是如何將大數據變小，在盡量不損失價值的情況下減少數據的規模，像數據的清洗、去除等等，也是如何有效地處理大數據類似物理的作用把大數據的規模變小但不損失價值。第二個是化學作用，從一個平面的大數據提煉出高附加值的概念、知識和智慧。大數據的探索和可視性在這里面可以得到很大的發揮。計算方面我們通過群體指揮以及認知等方面發揮和提煉。

　　第五個問題是大數據的安全和隱私問題。投票是59票。

　　第六個問題是大數據對IT技術的挑戰，包括存儲、傳出和分布式計算相關的整體架構的變化。今天的Hadoop實際上是應對大數據及大數據處理的相關的架構，雖然它目前的影響力很大了，但離成熟還有很遠的距離，也就是說大數據的發展和爆發對IT架構提出了大的挑戰。

　　第七個問題是大數據的應用和產業鏈的問題，。大數據有大價值，但在產業上如何形成有效增益的環境，以及大數據到底在什么樣的應用領域里能夠發揮絕對的價值，比如說跟社會科學、跟金融相關的，后面還會有一些分析，這個投票方面有大數據的應用和產業鏈。

　　第八個問題是大數據的生態環境問題，如果大數據時代真正地來臨，從數據變成資產、數據的加工和制造，甚至在前期討論有數據的制藥，有新的數據工業和數據衍生品，這種數據市場和數據衍生品帶來的市場的繁榮，另一方面是政策、環境包括投資環境和管理政策方面以及科研、研究所、學生的培養和國家政策的扶持方面形成的生態環境是大數據的第八個關鍵熱點問題。由于大數據廣泛的使用也會帶來政治倫理政治方面的問題，我們統稱為大數據的生態問題。

　　這是我們提煉出14個侯選項廣泛地參與意見和投票之后提煉出的大數據時代的核心問題，這是目前的認識，也許未來這個問題包括在座的每一位同仁們可能有自己的想法，我們只是拋磚引玉，對大數據的核心問題提煉出八點。

　　第二方面的議題是發展趨勢。任何的預測都是有問題的，我們發布的時候其實心里面是沒有底氣的，題目是在2013年在最近的距離內可預測的大數據的發展趨勢是哪些方面，搜集了一些相關的內容，包括了70多位專家以及跟數學領域的專家合作，大家提煉出的發展趨勢有37項，包括大數據的整體態勢和發展趨勢，大數據與學術、大數據與人類的活動，大數據的安全隱私、關鍵應用、系統處理和整個產業的影響。這方面總共有37項。大數據的整體態勢上，數據的規模更大，數據資源化、數據的價值凸顯、數據私有化出現和聯盟共享。大數據有沒有形成新的學科，當然仁者見仁智者見智，有很多人提出很多的想法。跟學術相關的包括數據科學的興起，數學學科發生了很多的變革，由于數據學科的產生反過來影響為物理學和數學提出的新的要求，需求促使了技術學科的發展和變革。顆粒度不太一樣，還有一些自主計算，基于海量知識的智能的革命性

　　的方法。有更奇妙的人機互聯。大數據的隱私安全及跟國家安全相關的問題，我們也希望提出一個問號，總令人矚目的大數據的應用到底是什么。還有基于大數據的決策支持、大數據的預測和清洗，大數據跟大企業的信息的推薦。大數據的系統處理上處理能力難以滿足需要，處理模式多樣化以及帶來的網絡帶寬的壓力。如果大數據來了以后把數據的價值充分發揮出來，網絡的傳輸、網絡的管理會帶來一些非常突出的壓力。資本會不會高度關注