大數據常見誤解及存儲所面對的問題_數據分析師

大數據的常見誤解

一、數據不等于信息

經常有人把數據和信息當作同義詞來用。其實不然，數據指的是一個原始的數據點（無論是通過數字，文字，圖片還是視頻等等），信息則直接與內容掛鉤，需要有資訊性（informative）。數據越多，不一定就能代表信息越多，更能不能代表信息就會成比例增多。有兩個簡單的例子：

備份。很多人如今已經會定期的對自己的硬盤進行備份。這個沒什么好多解釋的，每次備份都會創造出一組新的數據，但信息并沒有增多。

多個社交網站上的信息。我們當中的很多人在多個社交網站上活躍，隨著我們上的社交網站越多，我們獲得的數據就會成比例的增多，我們獲得的信息雖然也會增多，但卻不會成比例的增多。不單單因為我們會互相轉發好友的微博（或者其他社交網站上的內容），更因為很多內容會十分類似，有些微博雖然具體文字不同，但表達的內容十分相似。

二、信息不等于智慧（Insight）

現在我們去除了數據中所有重復的部分，也整合了內容類似的數據，現在我們剩下的全是信息了，這對我們就一定有用嗎？不一定，信息要能轉化成智慧，至少要滿足一下三個標準：

可破譯性。這可能是個大數據時代特有的問題，越來越多的企業每天都會生產出大量的數據，卻還沒想好怎么用，因此，他們就將這些數據暫時非結構化（unstructured）的存儲起來。這些非結構化的數據卻不一定可破譯。比如說，你記錄了某客戶在你網站上三次翻頁的時間間隔：3秒，2秒，17秒，卻忘記標注這三個時間到底代表了什么，這些數據是信息（非重復性），卻不可破譯，因此不可能成為智慧。

關聯性。無關的信息，至多只是噪音。

新穎性。這里的新穎性很多時候無法僅僅根據我們手上的數據和信息進行判斷。舉個例子，某電子商務公司通過一組數據/信息，分析出了客戶愿意為當天送貨的產品多支付10塊錢，然后又通過另一組完全獨立的數據/信息得到了同樣的內容，這樣的情況下，后者就不具備新穎性。不幸的是，很多時候，我們只有在處理了大量的數據和信息以后，才能判斷它們的新穎性。

大數據時代存儲所面對的問題

隨著大數據應用的爆發性增長，它已經衍生出了自己獨特的架構，而且也直接推動了存儲、網絡以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬件的發展最終還是由軟件需求推動的，就這個例子來說，我們很明顯的看到大數據分析應用需求正在影響著數據存儲基礎設施的發展。

從另一方面看，這一變化對存儲廠商和其他IT基礎設施廠商未嘗不是一個機會。隨著結構化數據和非結構化數據量的持續增長，以及分析數據來源的多樣化，此前存儲系統的設計已經無法滿足大數據應用的需要。存儲廠商已經意識到這一點，他們開始修改基于塊和文件的存儲系統的架構設計以適應這些新的要求。在這里，我們會討論哪些與大數據存儲基礎設施相關的屬性，看看它們如何迎接大數據的挑戰。

　　容量問題

這里所說的“大容量”通?？蛇_到PB級的數據規模，因此，海量數據存儲系統也一定要有相應等級的擴展能力。與此同時，存儲系統的擴展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機?；谶@樣的需求，客戶現在越來越青睞Scale-out架構的存儲。Scale-out集群結構的特點是每個節點除了具有一定的存儲容量之外，內部還具備數據處理能力以及互聯設備，與傳統存儲系統的煙囪式架構完全不同，Scale-out架構可以實現無縫平滑的擴展，避免存儲孤島。

“大數據”應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。所幸的是，基于對象的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的文件數量，而且還不會像傳統存儲一樣遭遇元數據管理的困擾?；趯ο蟮拇鎯ο到y還具有廣域擴展能力，可以在多個不同的地點部署并組成一個跨區域的大型存儲基礎架構。

　　延遲問題

“大數據”應用還存在實時性的問題。特別是涉及到與網上交易或者金融類相關的應用。舉個例子來說，網絡成衣銷售行業的在線廣告推廣服務需要實時的對客戶的瀏覽記錄進行分析，并準確的進行廣告投放。這就要求存儲系統在必須能夠支持上述特性同時保持較高的響應速度，因為響應延遲的結果是系統會推送“過期”的廣告內容給客戶。這種場景下，Scale-out架構的存儲系統就可以發揮出優勢，因為它的每一個節點都具有處理和互聯組件，在增加容量的同時處理能力也可以同步增長。而基于對象的存儲系統則能夠支持并發的數據流，從而進一步提高數據吞吐量。

有很多“大數據”應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，服務器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在服務器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。

并發訪問一旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享并使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平臺下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶并發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。

　　安全問題

某些特殊行業的應用，比如金融數據、醫療信息以及政府情報等都有自己的安全標準和保密性需求。雖然對于IT管理者來說這些并沒有什么不同，而且都是必須遵從的，但是，大數據分析往往需要多類數據相互參考，而在過去并不會有這種數據混合訪問的情況，因此大數據應用也催生出一些新的、需要考慮的安全性問題。

　　成本問題

“大”，也可能意味著代價不菲。而對于那些正在使用大數據環境的企業來說，成本控制是關鍵的問題。想控制成本，就意味著我們要讓每一臺設備都實現更高的“效率”，同時還要減少那些昂貴的部件。目前，像重復數據刪除等技術已經進入到主存儲市場，而且現在還可以處理更多的數據類型，這都可以為大數據存儲應用帶來更多的價值，提升存儲效率。在數據量不斷增長的環境中，通過減少后端存儲的消耗，哪怕只是降低幾個百分點，都能夠獲得明顯的投資回報。此外，自動精簡配置、快照和克隆技術的使用也可以提升存儲的效率。

很多大數據存儲系統都包括歸檔組件，尤其對那些需要分析歷史數據或需要長期保存數據的機構來說，歸檔設備必不可少。從單位容量存儲成本的角度看，磁帶仍然是最經濟的存儲介質，事實上，在許多企業中，使用支持TB級大容量磁帶的歸檔系統仍然是事實上的標準和慣例。

對成本控制影響最大的因素是那些商業化的硬件設備。因此，很多初次進入這一領域的用戶以及那些應用規模最大的用戶都會定制他們自己的“硬件平臺”而不是用現成的商業產品，這一舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。為了適應這一需求，現在越來越多的存儲產品都提供純軟件的形式，可以直接安裝在用戶已有的、通用的或者現成的硬件設備上。此外，很多存儲軟件公司還在銷售以軟件產品為核心的軟硬一體化裝置，或者與硬件廠商結盟，推出合作型產品。

　　數據的積累

許多大數據應用都會涉及到法規遵從問題，這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全，而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間，因為任何數據都是歷史記錄的一部分，而且數據的分析大都是基于時間段進行的。要實現長期的數據保存，就要求存儲廠商開發出能夠持續進行數據一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。

　　靈活性

大數據存儲系統的基礎設施規模通常都很大，因此必須經過仔細設計，才能保證存儲系統的靈活性，使其能夠隨著應用分析軟件一起擴容及擴展。在大數據存儲環境中，已經沒有必要再做數據遷移了，因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用，就很難再調整了，因此它必須能夠適應各種不同的應用類型和數據場景。

　　應用感知

最早一批使用大數據的用戶已經開發出了一些針對應用的定制的基礎設施，比如針對政府項目開發的系統，還有大型互聯網服務商創造的專用服務器等。在主流存儲系統領域，應用感知技術的使用越來越普遍，它也是改善系統效率和性能的重要手段，所以，應用感知技術也應該用在大數據存儲環境里。

　　小用戶怎么辦？

依賴大數據的不僅僅是那些特殊的大型用戶群體，作為一種商業需求，小型企業未來也一定會應用到大數據。我們看到，有些存儲廠商已經在開發一些小型的“大數據”存儲系統，主要吸引那些對成本比較敏感的用戶。