從大數據出發，核桃運算打造即時資料分析引擎_數據分析師

在大數據時代中，如何更快地即時分析巨量數據，成為新的創業契機。來自臺灣的團隊「核桃運算MacroData」，從最底層的數據分析架構出發，耗費兩年半的時間，研發出可分析不同資料屬性，以及橫跨各式硬體的資料分析引擎，比起現有的資料庫來說，運算速度還要快50倍到100倍，今年下半年將正式走入市場。

　　令人意外的是，核桃運算一開始并非瞄準大數據商機。核桃運算的靈魂人物薛文蔚，是臺大資工系第一屆學生，畢業取得哥倫比亞大學資工博士學位后，先到華爾街工作兩年，在1995年開始創業，開發教育平臺。2000年回到臺灣 ，在知名的軟體公司Computer Associates負責亞洲地區的合資公司業務，隨后在臺灣成立供應鏈管理公司「聯合通商eBizprise」，和在中國的子公司「eBizServe」。

　　2011年，薛文蔚遇到一個中國大陸大型零售商的供應鏈預測問題。當20萬個品項、上萬個通路，再加上要做100週的預測時，資料共有驚人的上百億點，如此龐大的資料量，傳統的資料庫無法負荷。他發現市場空缺后，找來公司裡兩位同事黃怡誠和賴育駿，一同成立研發團隊。

　　雖然本來是從供應鏈管理的問題切入，但深入研究后薛文蔚卻發現，這是大數據的問題。他解釋，現在用的資料庫技術都是1970年時提出的架構，很多理論是基于當時的假設，「但當底層條件已經改變時，我們不該再用過去的模式想事情?！褂谑菆F隊從非常底層的架構重新思考，適合現在使用的運算模式是什么。

　　其中最大的差異是，過去資料運算時，需先從資料儲存的地方如硬碟，搬到記憶體運算后，再把資料放回去。但現在的資料量早已是過去的好幾千萬倍，薛文蔚打個比方：「Data的成長就好像房價一樣，Code的成長則好像薪水一樣?！?/span>

　　如果沿用過去搬動資料的運算方式，大多時間都是花在「搬移」上，因此核桃運算主張透過不搬動的「in-place computing」運算方式，直接把程式送到資料的所在地運算，少了搬移動作，資料運算速度就會提昇很多。目前團隊已申請四項美國專利，其中叁項已被核準。

　　比起現有的資料庫運算方式，核桃運算共同創辦人陳元貞解釋，以目前知名的Hadoop來說，透過分散式運算，把1部機器要算的東西放到100部機器上算，雖能提升運算速度，但卻不是每個公司都能負擔的起部建分散式運算系統。

　　若是非關聯式的NoSQL資料庫，數據存儲沒有一定的模式架構，雖然速度可以變快，但也因為不需固定模式，當要做兩者的比較分析或資料採礦就有些困難。若是傳統的MySQL資料庫，更是無法負荷現在龐大的資料量。

　　從2011年下半年先在母公司聯合通商旗下成立團隊開始，眾人花了兩年半時間研發，終于在今年推出產品「Big Object」，團隊也在今年2月從母公司獨立。Big Object主要運行在64 bit的裝置上，因為採用「in-place computing」，最大優勢就是快，運算速度可快50倍至100倍，因此可做到當下的即時分析。

　　此外，Big Object也能分析異質性資料，不只企業本身的商務資料，也能結合open data和非結構性資料，像是零售業者可和天氣預測或臉書貼文交叉比對?！妇拖癖揭粯?，本來你只看到交易資料，可是更多的是你沒有看到水面底下的資料，」陳元貞說。

　　也因為Big Object是很輕巧的資料運算引擎，在未來物聯網時代，小至眼鏡、手錶，大到汽車、冰箱，每個裝置都能成為分析資料的機器，因此這些裝置也都可以嵌入Big Object的分析引擎，根據數據做出最優化的預測或行動，如調整車速、冰箱溫度等。

　　Big Object主要針對BI產品(Business Intelligence，從數據分析中挖掘商業價值)或LOG分析的軟體開發商，可直接將Big Object嵌入在軟體裡，收入以授權年費為主。目前核桃運算已有些試用客戶，像是在臺灣就已和神坊資訊旗下的購物網站合作，透過Big Object計算商品間的相關性，進而做出即時的購物推薦。

　　產品到位后，今年下半年Big Object將開始走入市場，目前處于客戶開發階段。陳元貞表示，由于這類應用主要在美國市場居多，因此今年3月團隊也在美國註冊公司，預計今年在臺灣和美國都要各自招募十人團隊，未來臺灣負責研發，美國則負責業務。

　　核桃運算四位共同創辦人，從左至右為賴育駿、薛文蔚、黃怡誠和陳元貞

　　【創業教我的事】找出自己的定位，在過程中隨時保有自己的判斷，尤其是對產品和市場策略的看法。

　　Q1. 希望提供這個社會什么價值? 最主要是提供一個快速又可負擔的分析引擎，幫助資料分析者或商業決策者，發掘出隱含在大量資料背后的資訊。

　　Q2. 長遠來看，貴公司想成為何種類型的公司?

　　我們希望做到「資料處理界的Intel」，未來軟體內可以搭載BigObject的運算核心，不管是CRM、ERP、BI或是Log分析軟體，都能透過BigObject的即時分析而有更優化的軟體功能。

本文來源:CDA數據分析師培訓官網