熱線電話:13121318867

登錄
首頁精彩閱讀大數據架構中的流式架構和Kappa架構
大數據架構中的流式架構和Kappa架構
2019-04-30
收藏

關于大數據的架構有很多,比如說傳統的大數據架構,當然,還有很多經典的大數據架構,比如說流式架構和Kappa架構。流式架構和Kappa架構在大數據中的應用還是很多的,在這篇文章中我們就給大家介紹一下關于流式架構和Kappa架構的相關知識。

1.流式架構

流式架構在大數據中應用十分廣泛,在傳統大數據架構的基礎上,流式架構非常激進,直接取消了批處理操作,數據全程以數據流的方式進行處理,所以在數據接入端沒有了ETL操作,轉而替換為數據通道。而流式架構的優點十分明顯,流式架構的優點就是沒有十分麻煩的ETL過程,數據的實效性非常高。當然,流式架構的缺點也是十分明顯的,那就是對于流式架構來說,不存在批處理,因此對于數據的重播和歷史統計無法很好的支撐。對于離線分析僅僅支撐窗口之內的分析。經過流處理加工后的數據,通過消息中間件以消息的形式直接推送給了消費者。雖然有一個存儲部分,但是該存儲更多的以窗口的形式進行存儲,所以該存儲并非發生在數據湖,而是在外圍系統。正因為如此,流式架構的適用場景就是預警,監控,對數據有有效期要求的情況。這些就是流式架構的主要內容。

2.Kappa架構

在大數據中,Kappa架構是一種比較常見的架構。Kappa架構的優點就是Kappa架構解決了Lambda架構里面的冗余部分,以數據可重播的超凡脫俗的思想進行了設計,整個架構非常簡潔。Kappa架構的缺點就是雖然Kappa架構看起來簡潔,但是施難度相對較高,尤其是對于數據重播部分。于是,Kappa架構和Lambda類似,改架構是針對Lambda的優化。使用場景也有很多,和lambda相同。不過Kappa架構的原理就是在Lambda 的基礎上進行了優化,將實時和流部分進行了合并,將數據通道以消息隊列進行替代。因此對于Kappa架構來說,依舊以流處理為主,但是數據卻在數據湖層面進行了存儲,當需要進行離線分析或者再次計算的時候,則將數據湖的數據再次經過消息隊列重播一次則可。

在這篇文章中我們給大家介紹了兩種大數據架構的知識,具體就是流式架構和Kappa架構。這兩種架構在大數據中十分常見,所以說大家在學習大數據的時候一定不能忽視這兩種架構的學習。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢