2015年主宰大數據技術的五大發展趨勢_數據分析師

大數據技術自出現以來以一種異?；馃岬乃俣劝l展著，且種種跡象表明這種發展趨勢在2015年將會繼續持續下去。MapR聯合創始人兼首席執行官John Schroeder預測，2015年將有五大發展趨勢主導大數據技術，MapR是致力于Hadoop分發版的專業公司。
 
僅僅幾年時間里，大數據技術就從之前的炒作階段逐漸發展成為新數字時代中的核心技術之一。2014年，企業內部的大數據計劃慢慢地從測試階段走向研發和生產。Schroeder表示，2015年，企業的大數據技術將會進一步推進，并向前發展，甚至會產生更多的用戶案例，尤其是實時用戶案例。
 
Schroeder說：“明年，企業和相關的組織機構將進行大數據的部署工作，并推進到實際的應用中。這主要是由目前業界所發生的一個重大轉變所推動的結果，即當前這個行業里的領導者，以及即將成為這個行業里新的領導者都已經將新的大數據平臺同他們的“運行”數據分析進行了整合，以便對其業務產生一定的影響?！?/span>
 
2015年主宰大數據技術的五大發展趨勢如下：
 
1、數據的靈活性成為焦點
 
隨著傳統數據庫(database)和數據倉庫(data warehouse)的運行越來越緩慢，并很難滿足企業業務的發展需要，數據的靈活性就成為了推動大數據技術發展的一個重要推動力。Schroeder指出，2015年，隨著企業逐漸從簡單地收集和管理數據過渡到真正使用這些數據，數據靈活性將越來越重要。
 
Schroeder說：“傳統數據庫和數據倉庫運行成本很高，因此DBA(數據庫管理員)資源需要對數據進行扁平化和結構化處理。高DBA的預付成本阻礙了對新數據資源的接入，同時這種嚴格的架構短時間內很難改變，其最終的結果導致傳統數據庫變得不夠靈活，不能滿足當前大多數企業或組織機構的需求?！?/span>
 
早期的大數據項目專注于對目標數據資源的存儲，而對于有多少數據被管理則并不是非常在意，對此企業在今后需要將其注意力轉移到測評數據的靈活性上。如何處理或分析數據，以便對運營產生一定的影響?當用戶偏好，或市場情況、競爭趨勢，以及運營狀態發生變化時，企業該如何調整和應對?這些問題都將引領2015 年大數據項目的投資和發展范圍。
 
2、企業逐漸從數據湖轉向數據處理平臺發展
 
某種情況來說，2014年的大數據領域實際上就是一種“數據湖(data lake)”的狀態，一種基于對象的數據存儲方式將收集來的數據以其最原生的格式(結構化的、非結構化的或半結構化的)存儲下來留作日后使用?！?a href='/map/shujuhu/' style='color:#000;font-size:inherit;'>數據湖” 具有很高的價值定位，它代表了一種可擴展的基礎架構，非常經濟且超級靈活。
 
Schroeder表示，隨著多計算和執行能力的加強，將推動企業從大量收集數據轉變為適當地處理數據，2015年“數據湖”將會繼續演進。這不僅會帶來更大的效率，同時也產生了單點管理和單點安全。
 
明年，隨著企業數據的分批處理到實時處理的變化，以及企業整合Hadoop和數據庫到其大規模處理平臺上，“數據湖”會得到進一步的發展。換句話說，這一趨勢并不是指“數據湖”里大規模用來支持更大的查詢和報告的數據存儲，而是對數據的持續訪問和處理，同時企業將會更多地關注實時數據，并采取主動措施。
 
3、自助服務大數據成為主流
 
Schroeder指出，隨著大數據工具和服務的發展，2015年，IT行業將逐漸緩解發展瓶頸的局面，許多商業用戶和數據科學家將會借助相關工具和服務訪問大量數據。
 
2015年，自助服務大數據將成為IT行業的一種趨勢，它允許商業用戶可以通過自助服務接觸大數據。自助服務還可以幫助開發者、數據科學家和數據分析師直接進行數據探索和處理工作。
 
在此之前，IT行業要求建立一種集中的數據結構，但是這非常消耗時間和成本。針對某些用戶案例，Hadoop可以幫助企業適應structure-on- read這種結構模式。一些先進的組織機構將會通過數據綁定的運行模式而非集中的結構來滿足持續的需求。這種自助服務模式將促進企業更好地利用新的數據資源，同時又能夠抓住新的市場機遇，應對問題和挑戰。
 
4、Hadoop供應商整合 新商業模式出現
 
2013年，英特爾發布了其Hadoop的分發版，這在業界引起了不小的轟動。英特爾表示，在這個分發版中，他們采用了一種全新的方法，可以直接將Hadoop整合到芯片中。但是僅僅一年之后，英特爾就放棄這一分發版，并迅速被Hadoop分發版供應商Cloudera替代。
 
那時候，英特爾表示，用戶都在關注Hadoop市場將如何發展、發展成什么樣。而Hadoop產品的供應商也是多種多樣、魚龍混雜。Schroeder相信，隨著失敗的企業不再繼續發展和推出其Hadoop分發版，轉而關注其他領域，在2015年Hadoop供應商整合將會成為一種趨勢(+微信關注網絡世界)，持續進行。
 
Schroeder說：“開源軟件(OSS)的使用到目前為止已經有20年的時間了，而且它給整個市場也帶來了巨大價值?！奔夹g的發展成熟需要幾個階段。技術的生命周期是以創新和開發高度差異化產品為開始，再以產品最終走向商業化為結束。被譽為“關系數據庫之父”的Edgar Frank Codd在1969年提出了“關系數據庫”的概念，1986年，甲骨文借助這一創新概念的發展成功上市。同時，這一創新概念也促進了1995年第一個 MySQL發放版的商業化進程。所以，從歷史的角度來看，數據庫平臺技術從最初的創新到最后的商業化，經歷了26年的時間走向成熟。
 
Schroeder表示：“目前，Hadoop還處于技術成熟周期的早期階段，從谷歌發布富有影響力的MapReduce白皮書至今僅僅過去了10年的時間。自最初的概念提出發展到現在的10年里，Hadoop得到了全球范圍內的部署和使用，并大大的超過了其他數據平臺?！蹦壳?，Hadoop還是處于創新階段，所以供應商錯誤地采取“Red Hat for Hadoop”策略的這種現象在市場也仍然存在，其中最明顯的是英特爾，其次是EMC Pivotal。
 
Schroeder認為，2015年業界將會看到一個新的、更加微妙的OSS模式的演進，這一新模式的演進和發展將社區發展與深度創新結合到了一起。開源社區是創建標準和達成共識的一個重要區域，而競爭則是促進Hadoop從最初的分析處理器向全功能數據平臺發展、演變的加速器。
 
5、企業架構師不再炒作大數據
 
2015年，隨著企業架構師對Hadoop技術堆棧不斷深入地了解，他們也慢慢地發揮著重要的作用，即對大數據應用的需求進行了更好地的定義和更加復雜的陳述，其中的一些因素包含了高可用性和業務連續性。
 
Schroeder說：“隨著企業在數據中心中迅速地從試驗階段走向實際部署階段，企業架構師開始走到前臺來，并在大數據部署的道路上發揮著重要作用?！盜T領導者選擇基礎架構方面也發揮著至關重要的作用，所選擇的基礎架構需要滿足SLA的要求，并具備高可靠性、業務連續性，同時滿足重要的業務需求。在2014年，Hadoop生態系統一直蓬勃發展，并產生大量的應用、工具和組件。預計2015年，該市場將關注跨平臺之間的差異性，同時企業的基礎架構中也將整合Hadoop到數據中心中去，并產生一定的商業價值。