熱線電話:13121318867

登錄
首頁精彩閱讀對于大數據,你必須要明白
對于大數據,你必須要明白
2018-01-02
收藏

對于大數據,你必須要明白

大數據目前的技術和應用都是在數據分析、數據倉庫等方面,主要針對OLAP(Online Analytical System),從技術角度來說,包含兩條腿:一條腿是批量數據處理(包括MR、MPP等),另一條腿實時數據流處理(Storm、內存數據庫等)。在此基礎上,部分場景又發現MR框架或實時框架不能很好的滿足近線、迭代的挖掘需要,故又產生了目前非?;鸬幕趦却?a href='/map/shujuchuli/' style='color:#000;font-size:inherit;'>數據處理Spark框架。

很多企業目前的大數據框架是,一方面以 Hadoop 2.0之上的Hive、Pig框架處理底層的數據加工和處理,把按照業務邏輯處理完的數據直接送入到應用數據庫中;另一方面以Storm流處理引擎處理實時的數據,根據業務營銷的規則觸發相應的營銷場景。同時,用基于Spark處理技術集群滿足對于實時數據加工、挖掘的需求。
    可以看出,大數據說白了就是還沒有進入真正的交易系統,沒有在OLTP(Online Transaction system)方面做出太大的貢獻。至于很多文章把大數據和物聯網、泛在網、智慧城市都聯系在一起,大數據不過是條件之一,其余的OLTP系統是否具備,物理網絡甚至組織架構都是重要因素。
    隨著時代變遷,大浪淘沙,作為數據行業的一員,我們每個人都在不同的角色之間轉換,今天你可能是科學家,明天就會變成架構師,今天的工程師也會變成幾年后的科學家,部分人還終將步入跟風者的行列。


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢