企業數據中心的大數據之惑_數據分析師

2013年被中國IT界稱為大數據年，如果你逢人不談大數據，好像就已經跟不上時代潮流，會被業界同仁認為是異類，可見大數據多么火熱。具體大數據的定義已經有很多種，對業界最好的貢獻就是不再添亂，制造出另外一種新定義。為此，我將專注大數據的企業數據中心之旅，和大家一起探討大數據方案在企業數據中心如何攻克難關，順利落地生花。

　　大數據的價值

　　大數據產生大價值的口號已經震天響，但具體的企業和應用場景產生的價值還是還不同，但大數據的價值總體來說都會讓營銷更精準、研發更快速、企業競爭力更強。沃爾瑪“啤酒和尿布”的案例就是智能營銷的典型案例，通過數據挖掘得出的結論，可以幫助沃爾瑪更好制定營銷方案，更好地滿足客戶的需求。當然，對客戶來說就是更便捷買到自己所需。對于地質勘探等行業，通過大數據的處理，可以快速定位資源位置，確定資源儲量等，這顯然是提升生產效率，降低探測成本。阿里巴巴通過對用戶行為的分析，準確地預言了2008年的金融危機，并采取措施幫助中小制造商準備過冬的糧食，這為不僅為阿里巴巴集團贏得了不少聲譽，也幫助它的客戶更好應對危機。美國國家海洋和大氣管理局(NOAA)每年的IT預算高達10億美元，主要用于大數據中心的建設，為國家海洋大氣策略的制定提供智能支撐。2011年3月11日，日本大地震發生后僅9分鐘，NOAA就發布了詳細的海嘯預警，這都是大數據的神通?？梢?，大數據確實能產生大價值，在不同的領域、不同的場景都能發揮它的能力，為企業、客戶帶來巨大收獲。

　　大數據對信息產業及企業的推動作用

　　大數據是云計算平臺上一個很好的應用，大數據的蓬勃發展，不僅僅推動云計算的快速落地，也打破的傳統的營銷、商務智能等的限制，將新興的社交媒體、互聯網的技術更好地轉化為商務智能，為信息產業更好的推動業務發展找到了一條出路。云計算曾讓很多用戶感覺是“暈計算”，數據量的激增也曾讓很多用戶束手無策，云計算和大數據的整合發展解決了這個難題，為下一代數據中心的發展指明了方向，成為企業在社交媒體時代的制勝法寶。從此，CIO再也不僅僅是傳統的首席信息官，而是可以更深刻地影響企業的業務，成為更炙手可熱的首席創新官(Chief Innovation Officer)，這對企業和整個產業的影響都是十分深遠的。

　　大數據是云計算的“殺手應用”已經毋庸置疑，大數據的價值也被大家廣泛認可。隨著企業信息化、社交媒體等新媒體的發展，企業的數據量和復雜性逐漸提升，如何利用這些遍布企業各個環節的數據成為打造企業新生命的關鍵。即使企業今天的數據量不是很大，可能完全基于傳統的關系型數據庫，大數據的應用也絕對不容忽視，因為隨著新型營銷平臺的出現，智能社交營銷已經成為大家的“剛需”。而一旦走上新型營銷平臺，數據量就會急劇增加，大數據的應用迫切性即刻出現。長沙中聯重工科技發展股份有限公司CIO王玉坤在介紹他們的大數據實踐時說：“在工程機械行業，很多挖掘機都安裝了GPS定位系統，實時監控車輛運行情況。同樣，日本小松公司的挖掘機也安裝了GPS定位系統，在實時監控車輛運行情況的同時，還根據挖掘機每個月的工作時間，統計全年的工作情況，由此判斷下一年度的市場需求。挖掘機開工越飽滿，說明市場需求越旺盛，如果客戶購買挖掘機后每個月的工作量很少，說明市場有可能面臨過剩的風險”，這就是通過大數據的應用促使工程機械行業轉型的典型案例。一般大家都認為工程機械行業需要進行分析處理的數據量不大，通過這個案例可以看到，隨著GPS定位系統的應用，大數據以已悄然走進這類企業。

　　大數據的基礎架構

　　大數據雖然在不同的應用場景、不同企業環境應用方式會千差萬別，但是常見的基本架構如圖示。大數據都會有自己的基礎架構平臺，一般推薦是基于云計算的動態彈性平臺，因為這將為大數據的分析處理提供強有力的支撐。當然，為了加速數據處理，Hadoop這類的基礎處理平臺也是必不可少的，包括實時數據處理的模塊，加速數據處理的進度。大數據的價值和時間密切相關，如果不能及時將大數據快速處理，分析后的結果很可能就成為“事后諸葛亮”，好聽好看沒用途，相信任何一個企業都不希望大數據成為擺設。當然，不同的行業、場景會有數據分析、展示模塊來配合，這些都需要數據科學家、分析師、開發者等共同配合完成，將移動互聯網、物聯網、社交媒體、實時數據流等進行分析處理，抽取出其中最有價值的規律、結論等，服務于我們面對的每個新明天和我們的新客戶需求。

　　大數據不會推翻我們傳統構建的傳統結構化數據的堡壘，特別是普遍應用在企業數據中心的關系型數據庫，仍然會是處理結構化數據的主要工具。但在大數據時代，我們更應該聚焦非結構化數據，結構化數據已經有了不錯的歸宿，非結構化數據才是我們處理的難題。據預測，到2020年，非結構化數據將數十倍于傳統的結構化數據，成為大數據最主要的數據來源。Hadoop在大數據時代如日中天，成為很多企業追逐的對象，因為今天的Hadoop是非結構化數據的一大福音，通過Hadoop可以輕松掌控非結構化數據。

　　但是我們要充分認識到大數據確實不是傳統關系型數據庫能夠輕松應對的，由于非結構化數據的來臨，傳統關系型數據庫立馬力不從心。同時，實時數據要求的低延遲、數據流處理也是傳統數據庫的軟肋。當然，靈活模式、云架構以及海量數據處理要求，都導致傳統關系型數據庫陷入困頓，只能尋找新的數據處理模式，比如Hadoop等，這也是開源的Hadoop如此受業界追捧的主要原因。

　　企業邁向大數據時代之五部曲

　　當然，從傳統數據庫模式走到大數據時代是每個企業都需要經歷的一次涅槃，下圖給出了常見的五部曲：

　　1)大數據收集。如果你大數據在手，恭喜你，至少你已經有了穩定的數據源。如果你沒有大數據，可能你需要想想哪些環節的重要數據從你指間溜走，你要開始部署新的工具攔住這些流失的數據，為他們找個收容所。當然，大數據收集最重要的是要確保數據質量，沒有質量的數據堅決杜絕，因為沒有意義的數據只會增加系統的復雜性，無形中增加成本。當然，大數據的價值密度本來就很低，如何辨別有質量的大數據就不是輕松的一個環節，要花大力氣來解決。

　　2)混合云或者數據的全局保障。收集數據要依賴于基礎架構，云計算是一個重要平臺，通過軟件及服務，實現全公司數據的完整覆蓋，包括各種類型、多種應用的數據，不漏掉任何有價值的數據，也不讓垃圾數據混入其中。

　　3)實現分析工具實時、平民化和可視化。將復雜的、臃腫的、不能實時分析的工具統統扔進歷史的垃圾桶，只有大數據分析工具的革新才能真正實時挖掘出大數據的價值。傳統的分析工具會被大數據淹沒，成為企業的負擔，不能產生應有的價值。

　　4)虛擬化可實現管理自動化，降低運營成本。一個使用復雜、成本昂貴的大數據平臺會成為數據中心的新負擔，帶來的價值可能會被復雜的平臺本身直接消耗殆盡。隨著虛擬化，特別是軟件定義的數據中心時代的到來，輕型、便捷的新平臺成為大數據處理的首選平臺，不僅大幅度降低成本，也為大數據處理提供了高度的彈性、管理能力等，讓大數據處理成為企業新價值的發動機，成為企業競爭力的助推器，成為CIO的新頭腦。

　　5)開源軟件也將成為歷史潮流。大數據從電商企業、移動互聯網起家，因此生于開源，長于開源，開源成為大數據平臺的重要基因，這也是開源的Hadoop紅火的另一個重要原因。當然，開源并不意味著回到“手工作坊”時代，每個企業都要打造自己的“開源”大數據平臺，而是要有充分的開放性，基于開源的理念和架構，提供成本低廉、穩定可靠的選擇。就像今天的開源Linux，一般企業還是選擇第三方企業包裝測試好的Linux平臺，而不是一個客戶完全自主研發的Linux平臺。通過這五部曲，企業可以輕松實現從傳統的關系型數據庫時代步入數據云時代，也就是走進新的大數據時代。

　　總之，大數據不是遙遠的神話，大數據是CIO為企業提供大價值的神器，機遇與挑戰并存。只要善用大數據，大數據定能為您的企業帶來不斷的新驚喜：大數據能讓你在從來不知道你有機會的地方找到機會;大數據的快速分析能讓你在機會消失之前把握住機會;大數據的有效應用能夠產生前所未有的商業新模式。