互聯網大數據的科學大思考_數據分析師

摩爾定律帶動了微電子的發展，信息技術信息流經歷了獲取、傳輸到計算存儲，而大數據進一步推動了技術的變革。近日，北京航空航天大學校長懷進鵬院士分享了互聯網大數據的科學大思考。

北京航空航天大學校長懷進鵬院士

科學世界的摩爾定律

在過去的二十年，計算速度和存儲容量由于微電子的發展，CPU的性能提高了3500倍，但內存和硬盤的價格卻下降了45000倍和360萬倍。帶寬的低廉程度已經遠遠超過了摩爾定律，單機進入了網絡計算，離線進入了在線時代。新的技術變革正在開啟。

當上網獲取信息資源變得越來越低成本、通訊帶寬超越摩爾定律的時候，就使得互聯網的應用進入了第二次價值挖掘。人們不需要知道服務方在哪里，只需關注獲取的服務和相應的資源。

由于互聯網的應用，過去技術單向交流的方式開始進入了雙向交流的時代，也進一步加速了互聯網的發展和新能力的創造。

互聯網模式的三個典型時代

“過去互聯網模式走過三個典型的時代，即主機時代、網絡計算時代，到現在云計算時代。從封閉可控的平臺進入了開放和沒有集中控制的網絡環境。到最終未來的發展當中，在寬帶不斷發展、微電子的價格不斷下降，而資源獲取能力增強的時候，就出現了計算模式的新變化。由于帶寬和成本的不斷變化，導致一種新的計算模式的變化?！?懷進鵬說到。

上個世紀八十年代出現了第一次計算機變革，是由于PC時代造成的，軟件第一次成為商品，可以通過購買copyright作為看不見的商品在市場上流行；到九十年代的網絡時代，出現互聯網有效規模的應用，就成為信息獲取和信息交換的平臺；目前的云計算模式正在推動新的、前所未有的、從量的積累到質的變化的時代。對于任何一個IT領域的技術和產品，時間的開放窗口并不長，比如像PC、手機和互聯網，一旦形成技術的標準或一定規模的成熟，對于追隨者就再也沒有機會了，或者只能處于它的旁觀者。

高速的互聯網發展過程中，對提升高端計算的利用率和應用性、提升低端計算的事務處理能力和服務的能力，都會有重要變化。

科學計算奠定了大數據的基礎

互聯網也改變了人們的交換行為模式。社交網絡如facebook、人人網、微博等改變了人們的上網規模和方式，與此同時，生產控制系統、嵌入式系統、傳感器所傳遞的系統，也改變了應用模式。所以，科學計算是大數據產生的基礎。

無論是從商業、工業，還是科學計算以及社會計算，給現實社會帶來了新的問題?；ヂ摼W二次價值的開發和新的挑戰在哪里？云計算作為一種計算模式，正在人們的生活發揮著作用，云計算背后要處理在現實應用當中或者是實際需求中的問題，人們提出大數據也是其中一個選擇。

對大數據有很多說法，從外顯特征來看，簡單叫做4V或者5V，從規模和變化頻度以及種類和價值密度的角度。維基百科也對大數據給出了外在的定義，即量級很大但是又無法處理的數據。

對于大數據，不能簡單看它就叫做一個數據，更重要的人們如何面對數據從量到質的變化過程。所以它已經不是過去我們說的大批量數據、海量數據到大數據，不是簡單的從量的規?？紤]，而是發生了規模的質的變化以后，給人們帶來的問題。即傳統數據，從靜態進入動態，從簡單、多維變成了巨量的維，而且它的種類是沒有辦法控制的。

因此，如何駕馭數據顯得非常重要。駕馭數據是指數據過度泛濫或者數據不容易像處理商業數據。因為有的數據沒有很忙特別價值。人們需要找到一種新的方式，從很多的數據中選擇有用的數據。

在2010年《經濟學人》有一篇專題標題就叫做“數據洪災” “數據泛濫”的報道，文中提到數據從稀缺走向豐富的時候，會有很多新的麻煩。在這篇專題當中也談到了關于數據經濟的問題，即數據進入了新的經濟時代。

從過去科學研究當中，由于信息的發展創造了很多人為的數據，和非自然的數據。所以需要從數據的關聯發現和數據統計特征找出新的價值。這也是很多科學價值研究的重要內容。

“那么大數據有多大的作用？在推特上，日本的海嘯信息提前傳播，對受災信息提前報警；去年7月21日，北京的暴雨，有900萬多條微博，把可能救助的方案提前在微博中發布。關于釣魚島，反映出社會的信息和情緒建議，如何更有效地處理這樣的問題；2008年甲流爆發前幾周谷歌提前預測冬季流感的傳播和甲型流感的問題；阿里巴巴的馬云對于金融危機的預感、百度的個性化搜索等，這是都是大數據作用的例子?！?懷進鵬舉例子說到。

在西方國家，利用微博、社交網絡創造了很多新的價值，比如說根據民眾的情緒或者對某一只股票的影響，對沖基金可以根據對企業的分析決定是否購買股票，以及對于上市的企業是否破產，都可以給金融分析進行幫助。

實際上在數據的經濟社會發展的價值當中，體現了如何對它進行歸類和分析，并進行有效的預測。因此，擁有大數據，擁有大規模真實可運行的數據，并能夠對它進行分析和處理，也許就是我們不斷提高競爭能力的重要力量。

大數據未來投資和發展的價值

大數據未來投資和發展的價值有多大？Gartner曾經預測，認為云計算和大數據的發展將在未來獲得重要的機會。當然，咨詢預測總是有風險的。對當前大數據的投資領域來看，給出了當前已經超過30%左右和未來進一步投資領域的劃分，列舉了像教育、交通、醫療等，在這些領域可能并且已經正在投入的行為。

大數據改變了人們的經濟生活，淘寶和亞馬遜的例子可以了解到用戶的購物習慣；大數據改變了科學途徑，即從理論研究、實驗驗證加仿真變成以計算為主的數據密集型的科學。

計算模式的變化的影響

首先所謂的近似性，從4V到3I，以數據的計算來看。近似性就是傳統的精確處理不再適用，允許在一定范圍區間內追求近似解。例如當你買一雙鞋的時候，不會跑遍北京所有的鞋店，而是根據你對一定目標的理解和趨勢的判斷。

第二是數據的增量性。數據是源源不斷的動態的變化，傳統是有一個封閉的假設，所有數據都齊全了再計算。因此，在大數據動態變化特征當中需要有增量計算。就像微博，可以使用音頻，視頻，還有文字等表達相同的事件，甚至跨越不同的區域，甚至是完全無關的區域。因此，如何有效地歸納，也是一個重要的問題。

未來大數據的計算模式

在大數據云計算的背景下，軟件在數據服務和運行模式當中也會有新的機遇。第一個機遇是未來數據的服務和軟件的服務將成為主要的軟件設計和開發的模式。第二個機遇是面臨軟件的設計開發和維護方式的調整，第三個需要面對的問題是用戶的隱私問題。

總之，計算模式的變遷是會成就時代的智者。大數據不僅是產業，也是資源、更是科學。在這個領域當中，有未知的很多科學問題，也有未知的需要實踐和很多技術、系統問題，還有需要政策和未來發展的有效支持。大數據將是未來的重要科學。