熱線電話:13121318867

登錄
首頁大數據時代大數據時代,大數據處理的成本控制不容小覷
大數據時代,大數據處理的成本控制不容小覷
2017-12-23
收藏


在大數據時代,最不缺伐的就是峰值流量的出現。一旦出現降價、打折或者平臺周年慶,當日的峰值流量將可能刷新平臺服務器承載上限,而這也意味著多種壓力共同提升,其中最容易被忽視的一部分在于數據。因為當天數據量會爆炸,如果不及時處理,這些數據的核心價值將會隨之而降低。



流量峰值帶來數據爆炸


從去年的數據來看,我國電商業務的交易額達到了22.97萬億元,同比增長25.5%。這種增長率也意味著數據量飆升,從服務器、網絡、物流、售后和品控等多個方面的數據都會產生壓力。


服務器與網絡的數據壓力將首當其沖。每次活動前夕,程序員幾乎都要徹夜難眠,有時需要靠”玄學”祈禱才能幫助服務器度過難關。即便云服務器準備再充分,擴容再強,也很難保證千軍萬馬同一秒沖入活動界面時不會出問題。


商業促銷是各種數據的爆炸點


相應的,商業促銷也會帶動物流方面的數據的爆炸。去年我國快遞企業營收為4005億元,同比2015年增長44.6%。如此大量的訂單不僅存在的交通、工作人員等方面的難題,還有物流信息的處理、同步和管理等大量的難題。


品控和售后是對平臺品牌的保障,如果這兩步出了問題,那么平臺就會面臨口碑下滑,甚至活動起到相反的效果。而在活動期間,進行品控和售后都絕非簡單,這些數據的產生和消化都在考驗著工作人員和官方平臺的協調能力。


數據資源面臨時間考驗


在這些方面產生的大量數據之后,把活動期間產生的大數據簡單的統計然后丟棄顯然是一種資源浪費。想讓這些數據資源實現價值,在存儲、處理和分析等方面都存在不小的難題。


第一,活動期間,企業將全面面臨人手不足的問題。因此程序員、運維人員和系統管理人員常常顧此失彼,數據處理和分析人員又不能招收臨時工應急,反還會被外借到其他部門去做緊急處理,從而讓大量的活動峰值數據面臨擱置危機。


第二,活動期間是一個數據爆發點,這些數據具有大流量、高并發和急需求等多種特點。原本慢條斯理的數據處理工作面臨轉瞬即逝的問題,簡單來講這就像把一個月的工作堆積到一天去完成,數據處理難上加難。


第三,數據處理等不得。事實上,所有的大數據都具有等不得的特點,數據的價值保質期僅有三個月,而以一些時效性較強的商業數據迭代速度更快,如果得不到處理,那么消耗大量資源存儲的商業數據自身價值就會急速下滑,對企業的指導作用都會相應的下降。


89.jpg


數據處理要成本把控


平臺開展促銷活動不僅僅是為用戶著想,也是對自身負載上限的一次考驗。在未來幾年中,我國的物流行業將會進入日均1億快件的節奏,這就意味著訂單量會爆發性增加,物流頻次加速,數據量繼續上升,數據處理的提速和降耗將會變成急需解決的問題。


數據處理提速目前提倡的是流式大數據處理,流式處理的優勢在于借助開源的分布式系統,運行數據流代碼時,分配數據到容錯力高的計算機中并行運行,從而達到低延遲、可擴展和容錯率高的目的。但這種處理方式最大的限制在于成本過高,尤其是對于超大量數據應用流式數據處理會讓平臺得不償失,以此處理所得的數據價值未必比成本更高。


數據處理降耗則是指降低在數據處理過程中的人力和財力消耗。在促銷活動期間,用人緊張導致人力資源價值提升,這就需要在數據價值和人力價值之間尋找平衡點;同時無法處理的數據在存儲和管理方面的成本也需要納入考慮范圍。


解決數據問題需要從多個層面來考慮:人力方面,數據價值是不可忽視的一部分,專業人從事專業事,讓人的價值最大化發揮;技術層面,將人工智能的深度學習機器學習技術深化與大數據技術的結合,讓人在大數據處理流程中只指揮,不執行,把計算力還給云和HPC;數據層面,強化數據分流,將時效性明顯的數據優先處理,并且有選擇的進行數據清洗,降低存儲和管理成本,提高處理效率。



數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢