大數據四大類：應用、產品、工具、底層科技

當大家都在談大數據分析和應用，臺灣新創團隊核桃運算MacroData卻選擇切入最底層的技術，打造即時資料分析引擎Big Object。創辦人薛文蔚甚至想顛覆工程師從1970年代以來對資料運算的看法，也就是說，資料不必先下載到記憶體，運算完再放回去，而是設計出「in-place computing」模式，創造接近無限的空間，讓所有資料都為了運算而準備好。10秒就能處理1億筆資料，一臺電腦就可以處理幾十億資料，比起現有的資料庫，運算速度還要快50倍到100倍。

硬體科技的進步，促成大數據

　　核桃運算創辦人薛文蔚指出，「目前處理大數據的技術還是在非常早期的階段，很多技術還不是很方便，這就好像我們現在回頭談70年代的電腦一樣?！?/span>

　　薛文蔚說，「昨天的垃圾，是明天的黃金?！闺S著硬體科技不斷進步，現在儲存資料的代價很低，所以有各式各樣沒有目的的資料被儲存起來，才會形成這3-5年很紅的「大數據」概念。

　　大數據面臨的挑戰是，很快獲得很多資料，卻難以想像要如何處理資料。當資料量很大的時候，要怎么做才能快速處理這些大數據?

　　叁年前，薛文蔚遇到中國供應商的單品項管理問題，必須同時處理40萬個品項，乘上1萬個通路時，預測出來的值是幾百億點。然而，現行的資料運算架構主流根本沒辦法處理，才讓他進而去解決架構所產生的問題，直接從運算模式下手。

　　(圖說：核桃運算創辦人薛文蔚推出即時資料分析引擎，推翻工程師長久以來對資料運算的看法。圖片來源：郭芝榕攝影。)

顛覆資料運算模式

　　「我們現在還在用1945年所設計出的電腦運算模式!」(也就是范紐曼架構)薛文蔚解釋，以前記憶體很小，把資料當成外來物，程式和塬始碼是一等居民，支配資料。每次要運算時，都要把資料從硬碟內搬移至記憶體運算，再搬回硬碟，花費很多時間在「搬移」。

　　目前大多數使用者端的資料庫和程式都以這種邏輯設計出來，薛文蔚說，這樣的工作臺模式適合資料運算嗎?

　　所以，核桃運算3年前設計出不必搬移資料的「in-place computing model」，試圖要顛覆資料運算的模式。記憶體從32位元前進到64位元是一個很重要的觀念改變，用空間換取時間，用有效率的方式對映到現有的CPU和記憶體，創造出一個無限的空間，把程式送到資料儲存地運算，避掉資料搬移的過程。

　　例如，HTC就推出64位元處理器的智慧型手機Desire 820，可以把資料放在云端、伺服器和物聯網上。

　　(圖說：核桃運算顛覆資料運算的模式，開發出資料運算引擎BigObject。圖片來源：取自核桃運算官網。)

　　此外，核桃運算在做運算時，會用各式各樣的轉換技術做分門別類，例如分開性別和收入，并善用關聯，讓4G記憶體可以跑100G資料，比MYSQL快100至1000倍。

　　薛文蔚指出，「只要一臺64位元的電腦，就能處理幾十億筆資料，未來也可以用在手機上。降低一般人使用的門檻，展現平民化的大數據運算力量?！箍商幚黻P聯式分析、多維度分析。

　　未來，嵌入式裝置愈來愈多，大數據將是隨處可見的技術。他更進一步指出，未來的使用者將會是資料導向，10年后可能變成人人都對資料「有感覺」，資料科學將成為基礎知識，而非現在的專家系統。

大數據四大類：應用、產品、工具、底層科技

　　薛文蔚是臺大資工系第一屆畢業，在哥倫比亞大學念資工博士學位，1995年就開始創業。他將大數據分成應用、產品、工具、底層科技四大類，目前切入大數據領域的新創團隊，大多都是大數據應用，包括手機、物聯網，有一大部分落在社交媒體，用心理學分析關聯度，例如兩個人的相似度。

　　做大數據的平臺和科技比較少，薛文蔚說，底層科技還有許多可發展空間，會形成一個生態系統。臺灣的強項在硬體，像是固態硬體、永久記憶體、快閃記憶體等等，核桃運算也許會進一步結合硬體，讓運算模式更快速。而10年后，底層的硬體可能會被生物記憶體所取代。