熱線電話:13121318867

登錄
首頁精彩閱讀大數據行業里的四大誤區?(2)_數據分析師
大數據行業里的四大誤區?(2)_數據分析師
2014-12-13
收藏

大數據行業里的四大誤區(2)_數據分析師

誤區二:只有大數據才能拯救世界


    大數據目前的技術和應用都是在數據分析、數據倉庫等方面,主要針對OLAP(Online Analytical System),從技術角度來說,包含我總結的兩條腿:一條腿是批量數據處理(包括MR、MPP等),另一條腿實時數據流處理(Storm、內存數據庫等)。在此基礎上,部分場景又發現MR框架或實時框架不能很好的滿足近線、迭代的挖掘需要,故又產生了目前非?;鸬幕趦却鏀祿幚鞸park框架。很多企業目前的大數據框架是,一方面以Hadoop 2.0之上的Hive、Pig框架處理底層的數據加工和處理,把按照業務邏輯處理完的數據直接送入到應用數據庫中;另一方面以Storm流處理引擎處理實時的數據,根據業務營銷的規則觸發相應的營銷場景。同時,用基于Spark處理技術集群滿足對于實時數據加工、挖掘的需求。


    以上描述可以看出,大數據說白了就是還沒有進入真正的交易系統,沒有在OLTP(Online Transaction system)方面做出太大的貢獻。至于很多文章把大數據和物聯網、泛在網、智慧城市都聯系在一起,我認為大數據不過是條件之一,其余的OLTP系統是否具備,物理網絡甚至組織架構都是重要因素。


    最后還想說,大數據處理技術,再炫如Google的Dataflow或成熟如Hadoop 2.0、數據倉庫、Storm等,本質上都是數據加工工具,對于很多工程師來說,只需要把數據處理流程搞清楚就可以了,在這個平臺上可以用固定的模版和腳本進行數據加工已經足夠。畢竟數據的價值70%以上是對業務應用而言的,一個炫詞對于業務如果沒有幫助,終將只是屠龍之術。任何技術、IT架構都要符合業務規劃、符合業務發展的要求,否則技術只會妨礙業務和生產力的發展。


    隨著時代變遷,大浪淘沙,作為數據行業的一員,我們每個人都在不同的角色之間轉換,今天你可能是科學家,明天就會變成架構師,今天的工程師也會變成幾年后的科學家,部分人還終將步入跟風者的行列。文章來自:CDA數據分析師官網

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢