Druid創始人詳解開源實時大數據分析系統

Druid是一個為大型冷數據集上實時探索查詢而設計的開源數據分析和存儲系統，提供極具成本效益并且永遠在線的實時數據攝取和任意數據處理，并且在面對代碼部署、機器故障以及其他產品系統遇到不測時能保持100%正常運行。
Druid是一個為大型冷數據集上實時探索查詢而設計的開源數據分析和存儲系統，提供極具成本效益并且永遠在線的實時數據攝取和任意數據處理，并且在面對代碼部署、機器故障以及其他產品系統遇到不測時能保持100%正常運行。 
Eric Tschetter本科就讀于德克薩斯大學奧斯汀分校，在東京國立情報學研究所拿到了計算機科學的碩士學位。之后在硅谷，Eric加入了Marc Andreessen創辦的社交網絡平臺公司Ning(這個名字取自中文“寧”的拼音);后來Eric又加入了LinkedIn，參與了“People You May Know”產品;離開LinkedIn后，Eric成為了Metamarkets的第一位全職雇員，并在那里開發Druid。目前，Eric為一家非盈利組織Tidepool工作，為糖尿病人提供開源的醫療數字化應用。

 Druid是一個開源的分布式實時處理系統，旨在快速處理大規模的數據，并能做到快速查詢和分析。為燒錢的大數據處理，提供一種更廉價的選擇，目前來說是這個領域唯一的開源產品。Druid還將一些基本功能UI化，為非技術人員提供服務。說到與Druid最類似的項目，Eric認為是Google的PowerDrill。

MapReduce和BigTable的論文催生了大數據處理的事實標準Hadoop。Dremel和PowerDrill問世后，很多人都在好奇有哪些開源大數據技術又要興起，Druid會是其中之一嗎?

應用場景

Druid應用最多的是類似于Metamarkets中的應用場景——廣告分析，互聯網廣告系統監控、度量和網絡監控。并且eBay也已經計劃將Druid用于生產環境中。

開發團隊

目前Druid被托管在GitHub上，有44個contributor，1000+的關注，Druid 的主要貢獻者，包括Metamarkets，Netflix、Yahoo和一些硅谷的創業公司。Druid 的開發人員通過Druid 論壇互動和支持Druid 的開發。筆者剛剛查看了Druid的Google Group，最近一直保持著比較活躍的討論。

Eric介紹說，每當他們學到新的東西或有新的想法，總會盡快去實踐檢驗。所以自2011年3月第一條代碼提交至今，Druid有了很大的改進。比如數據的存儲方式，大概變化了9次，查詢流程大概變化了3-4次，各個節點間的相互協調大概變化了3次，但是每個節點制作一件事情的原則沒有變化過。Eric說未來可能還會有更多的變化，但是基本的架構不會改變。