Storm使用到的相關技術總結

Storm作為一個開源的分布式實時流計算框架，其內部實現使用了一些常用的技術，這里是對這些技術及其在Storm中作用的概括介紹。以此為基礎，后續再深入了解Storm的內部實現細節。

1. Zookeeper集群

Zookeeper是一個針對大型分布式系統的可靠協調服務系統，其采用類似Unix文件系統樹形層次結構的數據模型（如：/zoo/a，/zoo/b），節點內可存儲少量數據（<1M，當節點存儲大數據量時，實際應用中可能出現同步問題）。

Zookeepr的高可靠性服務是通過配置Zookeeper集群實現的，官方建議Zookeeper集群至少包含3個節點，每個節點上存儲一份數據，主節點掛掉后可以重新選取一個節點作為主節點。只要保證集群內有一半以上的節點存活，集群就可對外提供服務。

Zookeeper支持的操作類型有：

（1）創建樹節點znode；

（2）刪除樹節點znode；

（3）讀取樹節點znode的內容和其子節點的內容；

（4）當節點內容發生變化或子節點增刪時觸發消息通知更新消息；

（5）支持瞬時節點（EPHEMERAL），創建節點的進程退出后節點自動被刪除。

Storm中使用Zookeeper主要用于Storm集群各節點的分布式協調工作，具體功能如下：

（1）存儲客戶端提供的topology任務信息，nimbus負責將任務分配信息寫入Zookeeper，supervisor從Zookeeper上讀取任務分配信息；

（2）存儲supervisor和worker的心跳（包括它們的狀態），使得nimbus可以監控整個集群的狀態， 從而重啟一些掛掉的worker；

（3）存儲整個集群的所有狀態信息和配置信息。

關于Storm在Zookeeper的詳細目錄結構，可參考這里。

2. Thrift服務框架

Thrift是一個跨語言的可擴展的服務框架，它通過一個中間語言(IDL，接口定義語言)來定義RPC的接口和數據類型，然后通過一個編譯器生成RPC客戶端和服務器通信的無縫跨編程語言。

Storm中Thrift的應用場景：

（1）客戶端向nimbus提交topology任務；

（2）supervisor從nimbus下載topology任務（代碼和序列化文件）；

（3）storm ui從nimbus獲取topology運行的統計信息。

3. ZeroMQ消息隊列

ZeroMQ是一個基于消息的嵌入式網絡編程庫，可作為并發框架連接多個應用程序，支持N-to-N的連接，多種工作模式（Request-reply，Publish-subscribe，Pipeline等），支持多種語言，ZeroMQ使得編寫高性能網絡應用程序極為簡單。

Storm中ZeroMQ的應用場景：Spout與Bolt、Bolt與Bolt之間tuple消息的傳輸。

4. Java序列化

Java序列化技術可以實現將Java對象保存為二進制文件，而反序列化過程則可以在另一個Java進程中將此二進制文件恢復為Java對象，其缺點在于不能很好的解決版本變化。

Storm中Java序列化的應用場景：

（1）客戶端提交topology任務后，Storm將topology任務序列化并發送給nimbus；

（2）supervisor從Zookeeper取得任務信息后，從nimbus下載序列化文件和jar包，啟動worker進程并反序列化得到提交任務時的topology對象。CDA 數據分析師培訓