CDA俱樂部周末線下聚會回顧——Hadoop從部署到應用

CDA數據分析師俱樂部從2013年3月開始成功舉辦了很多次線下聚會討論，積累了豐富的經驗，基于大數據狂潮和數據分析業務的發展，現在我們改變聚會的形式和時間，將以CDA數據分析師驛站的形式，在每周六（18:30-20:30無特殊情況時間不變）邀您與大家圍在一起，喝喝咖啡，談談合作，聽聽大數據牛人的真知灼見 。會員也可以發言和主題分享，只需要提前告知申請，并準備簡單的ppt！

10月17日，CDA俱樂部線下活動回顧

主題：Hadoop從部署到應用

俱樂部特邀嘉賓：曹正鳳老師
一、先用幾分鐘聊了下大數據現狀。
二、轉為Hadoop的安裝與部署
  1.配置單機分布，
  2.進而布置成偽分布
  3.最后搭建集群分布的流程和編程（一連串代碼就不寫了。。）
三、最后講到大數據的實際應用，主要有以下幾點：
1.大數據提升預測準確性，
2.精準營銷，整合營銷，聯合營銷。 并以 谷歌、耐克等企業為例。

俱樂部特邀嘉賓：孫增輝老師。
從企業需求、技術實現等角度，講解MapReduce、spark、storm三種分布式的優缺點。區別與聯系。在運行海量數據時，公司主要有兩種解決方式，一個是用大型計算機（兩千萬左右），二是采用分布式（價格便宜），所以在大部分企業中都是用分布式運行處理海量數據。Hadoop和spark的銜接，storm的性能優勢及成本劣勢。最后詳細的講解了三種軟件在企業中應用的流程。

針對兩位嘉賓的發言，其他會員進行了半個小時的提問，針對會員的各種問題，兩位老師都一一解答。主要有一下幾點：
1.現在企業中用的是 商業Hadoop還是免費版本的， 因為免費版本的要自己寫程序，而上夜班的只要點點按鈕就可以了，這對要不要學習Hadoop，很迷茫。
  因為商業的Hadoop的費用是很貴的，并且和企業的具體需求匹配度等問題，現在大部分企業都是使用免費版本的，例如 阿里 百度， 他們都是自定義開發Hadoop的。

2.我現在搭建過單機分布，想在想要研究Hadoop的維護方向，老師有何建議？
  如果你只是搭建過單機，對Hadoop的整體運行流程和應用都不了解，那還是從基本學起?，F在維護方面有需求，但是沒有形成規模，并且Hadoop更新太快了， 做維護研究，會貶值的，就是你學會了2.版本的維護，Hadoop的3.版本就上線了，那你就要從新學起

3.就想您說的Hadoop更新太快，那我們現在學習這些有用嗎？會不會剛學習完，就更新了，還要重新學起？
Hadoop更新是很快，但主要從內存等方面更新， 代碼原理是不會改變的， 所以把代碼學會，就不怕Hadoop更新的快與慢了，但對Hadoop更新的特點要了解清楚


當投入到一件事情后，時間就會過得很快。不知不覺兩個半小時已經過去，會員們還在積極討論，但時間已經很晚了，不得不結束本次活動。相信會員們都收獲了一定的知識或者想法，但還沒有盡興，我們創建了微信群，以便后期交流。后續俱樂部互動會持續展開。希望大家多多參與交流

期待下一期活動：《數據分析案例集》新書試讀會：http://bbs.pinggu.org/thread-3932529-1-1.html