大數據實踐 基礎架構先行_數據分析師

大數據被認為是下一個創新、競爭和生產力的前沿，誰率先抓住大數據的先機即意味著能夠在未來市場競爭之中取得桿位。當前大數據市場除了傳統廠商之外，還同時涌現出一大批創新技術廠商，并且像零售、金融、互聯網、政府機構、科研教育等行業用戶對于大數據的認知與認可大大超過了以往任何一項IT技術。歸根結底，這是因為大數據能夠對業務產生最直接的影響。大數據當前處于上升期和快速發展時期，人們當前對于大數據的期望值也是越來越高。
 
大數據時代下的基礎架構挑戰
 
毫無疑問，大數據時代下，要想實現更大的業務價值，首先需要解決的就是基礎架構問題，基礎架構之中存儲又是重中之重。當前趨勢下，社交媒體、移動互聯網、物聯網、多媒體應用等趨勢興起使得非結構化、半結構化數據大幅增長，加上傳統的結構化數據增長，用戶的整體數據量呈現出海量、高增長的狀態。如何面對數據源繁多、數據增長速度快速、數據種類豐富化、數據存取形式復雜化以及應用需求多樣化就成為當前大部分用戶首要面對的挑戰和難題。
 
 
著名咨詢機構麥肯錫認為，大數據是指其大小超出了典型數據庫軟件的采集、存儲、管理和分析等能力的數據集。大數據公認的4V特征包括：容量、類型、速度以及價值（volume、variety、velocity和value）。著名調研機構IDC對于大數據技術定位為：通過高速捕捉、發現和/或分析，從大容量數據中獲取價值的一種新的技術架構。另外一方面，我們也可以發現當前對于大數據的一個誤區廣泛存在于用戶之中：當前仍然有很大一部分用戶認為新興起的Hadoop技術、商業智能分析（BI）這些就意味著大數據，他們認為掌控好Hadoop或者BI即可掌控大數據。事實上，大數據不僅僅是Hadoop或者商業智能分析，這些熱門技術是大數據分析和處理過程中當前熱門的領域，而要想真正實現大數據的價值、為業務發展服務，則需要從全面的角度考慮。
 
因此，傳統存儲產品由于自身的設計缺陷，在擴展性方面、與上層應用集成度、高性能、自動化能力、成本等方面已經很難滿足大數據諸多的存儲特征，根本很難肩負起企業大數據存儲、分析以及應用的諸多需求。尤其當前數據的類型豐富程度、容量愈發變大的情況下，并且在業務部門跟IT日益緊密的趨勢下，對于數據的存儲與分析的速度和性能要求越來越高，對海量數據的快速、高效存儲絕對應該是大數據時代存儲系統的第一必備要求，否則大數據后續相關的大數據分析、大數據處理都將成為空談。
 
看清大數據趨勢 不再霧里看花
 
在大數據時代下，大數據存儲產品顯然要比傳統存儲產品考慮更多因素，目前市場中已經有很多專門為大數據應用設計和開發的存儲系統，這其中包括國內和國外諸多廠商的產品。雖然有很多產品可供大家參考和選擇。但是對于用戶而言，能夠看清大數據基礎架構的發展趨勢，則可在基礎架構建設方面不再霧里看花。
 
趨勢一：容量大、易擴展。眾人皆知，大數據的容量往往是PB級別，甚至有些用戶的數據量開始達到EB級別，這要求未來的存儲系統能夠具備容量大、易擴展的特點。
 
趨勢二：高性能。大數據的一大特征即為速度，要求存儲系統能夠快速存儲數據，因此這要求存儲系統的響應速度能夠符合大數據的要求。
 
趨勢三：多集成。大數據時代下，數據來源廣泛與復雜，不同類型的數據訪問、處理和分析的方式不同，這就要求大數據時代下存儲系統的接口集成化，使得大數據存儲系統能夠應對不同的數據需求。
 
趨勢四：自動化。由于大數據使得數據量大幅增加以及數據處理流程、方式更加復雜，給存儲系統的管理、維護變得更加復雜。因此，管理自動化也是衡量大數據存儲系統的重要趨勢。
 
趨勢五：安全可靠。大數據最為核心的價值所在即為數據，因此確保數據的安全可靠也是大數據存儲需要重點考慮的因素。保證數據的可用性、完整性和持久化都是未來存儲系統所必備的趨勢。
 
趨勢六：彈性成本。大數據并不意味著用戶必須要在基礎架構上一次性投入大額成本，具有彈性、可擴展的存儲系統能夠幫助用戶實現彈性成本，讓不同層面的用戶都能在大數據浪潮中淘金。
 
綜述
 
追本溯源，在大數據時代下，我們往往不能只將眼光盯在數據分析與處理層面，用戶在嘗試大數據解決方案之前，更應從全面角度去審視自身的基礎架構是否適合大數據未來的需求與發展——大數據實踐，基礎架構先行。CDA數據分析師培訓官網