并行處理在大數據分析中所面對的挑戰_數據分析師

HBTC2012峰會在北京舉行，俄亥俄州立大學的教授張曉東老師就并行處理在大數據分析中所面對的挑戰做了精彩的演講。

張曉東重點講了并行計算對大數據以及現有的高性能計算的計算模式是否適應大數據。第一步先講一下在大數據中有哪些非常廣應用，現有的數據庫是不能使用的，很簡單數據量太大了。同時，大數據的要求不光是高性能同時還要有更高的。而且沒有什么硬件支持，都是用非常廉價的硬件。第二個問題都是學科的研究，因為它的應用范圍非常廣。數據的格式等都不一樣。第三個問題是應用需求非常廉價的架構，所以可以看到現有的數據庫是不適合的。它的價格是非常昂貴的，所以我們我現在用的主要是用開源的。

張曉東認為今天我們進入到一個“數據是檢驗真理的一個重要的標準”的時代。對算法有了新的需求。我今天的講座想主要是聚焦在計算模式上的變化，計算尤其是系統設計發生了什么樣的變化過去我們用的是高性能計算的模型。

對大數據來講最主要的是在模型中做計算的約束是非常大的。我們看BSP模型，為什么在過去用到高性能計算上，今天在大數據不能用。之后再做并行計算，之后再做篡數，過去做的所有的高性能計算都是圍繞這個模型來的。

如果我們有了硬件、有了軟件，22年前它就總結了高性能計算，它畫了一個圈，我們所有的努力都在這里面。

BSP模型有數據嗎?因為高性能計算數據并不是重要的，主要是以計算為主的。大數據更不在里面了。今天做大數據計算的時候，是不能與硬件相關的我不能說找到英特爾說要造一個大數據。

所以我們現在用的。我們的模型是今天高性能計算是不能保證的。

今天為什么要做并行計算，并行計算給我們帶來了什么樣的障礙?scale-out是什么概念?張曉東認為給大家舉一個例子，2008年的時候Google用processed算法計算一個PB的計算量，用了1個小時2分鐘。2011年10PB的數據用了6小時27分鐘。我們比較要有非常高的并行度。我們在高并行度下面遇到的第一個困難是，沒有特殊的通信硬件來給我們支持。這不像高性能計算。第二Hadoop的模型非常簡單。第三，沒有軟件的工具來幫助我們做。另外，當你放下了數據以后是不能傳輸的，基本上是不能動的。今天這個會議是為了Hadoop。我們對引擎本身是沒有抱怨的，問題是如何利用引擎處理大數據。如果我們只永遠是的引擎只能做簡單的分析。這個引擎有非常好的優點，第一它的dependency是非常小的。另外一個工作是非常簡單的。我們必須要有高可用性的大數據。

如果一個數據在做負載的時候，我們要注意，如果用不好也是費用很高的?？吹搅水攁pplication，你想做一個的話，現在的是不支持的。如果是在不同的系統上，他們兩個想做一個communication也是不支持的。

第二個問題，如果一個使用者想換個思路。如果你有一個MP可以直接翻譯過去，通過機器提高了各種各樣的計算。人在實際中用手來寫是不一樣的，75%是又機器來生成的。他在做項目的時候可以節省4倍的時間。

最后一個問題，在現有的Hadoop沒有給你任何的信息，用戶是不知道的，你怎么放進去的時候取這個數據的時候要非常地低。你做這樣的設計是不是也改變了Hadoop的引擎。最后我們發現考了三個方面都是很基本的話，那么也是它廣泛應用的原因。他們現在在整個的關鍵信息在什么地方?從Facebook的角度來講，這個是一個Hadoop，用它的時候第一要存到高的數據中，如果一個用戶首先用的是YSmart做示范。一個Hadoop是一個大數據中心的引擎。本身它就可以做分析，我們一個引擎只能完成一個轉的操作問題是我們如何將引擎最原始的動力化為今天的支撐。因為我們相信Hadoop是一個引擎并且起了很重要的作用。