當你學會抄菜的時候，你就學會了大數據

最近在學習數倉跟BI，突然發現，結合自己所學會抄的菜。試著把學過的大數據重新理解一番，希望各位都能來一起討論，共同進步。
走進廚房
  走進廚房后，相信大家會看到各種鍋碗瓢盆，案板，切菜刀，調料，櫥柜，水池...........而這些就相當于是大數據的架構。
  其中櫥柜，相當于是Hadoop。櫥柜可以儲存各種食材，而Hadoop可以存儲各種不同類的數據（結構化與非結構化）。而櫥柜可以存放不同食材，比如不規整的豆腐塊，大冬瓜，土豆....還有一些規整的食材，比如大米，小米，綠豆........規整的食材與不規整的食材的區別，各家有各家不同的規定，而一般的規定就是規格的食材要用袋子把它們裝起來。這里就相當于是大數據里的數據整理流程。而這些半規整的食材要放到一個個小袋子里，比如說，淀粉,姜粉，蒜泥.....用袋子或者盒子把它們裝好，放在相應櫥柜的地方，就相當于我們大數據里說的ETL（抽取，封裝，加載），以備后用。
  而不同廠家的櫥柜又會有不同的格子劃分及存儲區，比如：歐派，宜家的櫥柜就會劃分出很多小的分區來裝不同的東西。而這一塊就相當于HBase,灶臺下邊有專門用于涼碗的，還有抽油煙機旁邊專門用于放刀具的區域，還有專門用于放各種鍋的區域。而當HBase劃分的好的時候，就對上層的MapReduce有很大的幫助，因為你各個區域規劃的越好，當你開始抄菜的時候，取用各種餐具的時候就會更加的得心用手。
  至于上邊的Mahout,Pig,Hive就相當于你如何在櫥柜中找到你相應的食材的過程，比如說，你要抄西紅柿雞蛋，你要找雞蛋跟西紅柿...........再往上走就是一個對廚房的整體管理了。你做過的哪些菜，或者你想按照某個食譜來做菜，你就要有一個本子寫上你每次做菜的步驟，這個就相當于是FlumeL,而Sqoop就相當于蘿卜擦，你想吃蘿卜絲，你就要用工具把蘿卜切成絲才可以，這里，用刀具可以，用蘿卜擦會更高效。
  再來說說Zookeeper吧！它就相當于把你經常用的幾項工具放到離你做菜最近的一個櫥柜中。方便管理這些工具。
  好了，說完了Hadoop,再來說一說Spark.它跟櫥柜的唯一不同就是：櫥柜是給你全部安裝固定好了的，而Spark這種櫥柜是可以移動的櫥柜，同時對于你經常用的工具，可以進行優先排序。讓你更快的對食材進行加工。剛開始，你做完一道菜，要半個小時多，而當你熟練之后，加之Spark移動櫥柜+優先推送食材（內存計算+可迭代算法），你可以在5分鐘內就做完這道菜。
加工食材
  實際上，我們食材的儲存過程就相當于是一個數倉的建立過程，而在一個數倉的建立過程中。最重要的莫過于區分不同維度。比如在大數據里的Key+Value,Big list,實際上都是提供一種基于可擴展的列值存儲。而在數據可視化中，數據多維分維里，也是強調數據的不同維度的區分。這里我們就以食材的區分為例來說明。
  首先，廚房里的食材維度可以大致分析：蔬菜維度，禽肉維度，米面維度............不同的維度決定了你對食物的理解程度，比如：你可以把糯米放在米面維度，也可以放在糕點維度。所以數據的不同維度也取決于你對食材的功能及使用場景。再比如：把你香茹切的很小，曬干，然后碾成粉，要這些香茹粉就會從蔬菜維度進入到調料維度。
  當我們明白了食材維度的這個概念之后，我們就要開始我們的加工了。是先抄，還是先炸，還是先熱水湯一下，都是對食材的一種加工。這里就相當于對初始數據進行相應的整形。由于要用到不同的廚具，就涉及到前邊講的走進廚房的細節的。在大數據里，可以用不同的組件對原始數據進行處理。而在廚房，可以用不同的廚具對食材進行處理。比如：蒸饅頭，可以用抄鍋來蒸，同時可以用鋼精鍋來蒸。雖然都能達到能吃的地步。但是所用的時間及口感不同。這些也就相當于大數據里各種不同組件之間的動行效果。
  最后，先感謝下我現在的公司，每個月不定期給我們發菜，同時也感謝下老婆，教會了我抄各種菜。最后，附一張我抄好的菜吧（先給它起一個響亮的名字：亂棍打死豬八戒！undefined ）！