2014年大數據沒邁過去的檻兒_數據分析師

剛剛過去的2014年，見證了大數據架構發展和部署上的進步。NoSQL數據庫得到越來越多的用戶認可，Hadoop 2 也突破了分布式處理框架一開始批處理的角色，走向了運營分析。

Hadoop 2 平臺最早發布于2013年末，今年主要發布對Hadoop 2的各種修補，主要圍繞HDFS和YARN(詳見《2014年Hadoop大事件盤點報告》)新版本將HDFS從早期批處理的MapReduce編程模型和處理引擎中解放出來，為Hadoop打開了新的天地，比如交互查詢和流處理應用程序。但從概念證明(proof of concept，POC)到投入生產是一個質的變化，2015年將見證Hadoop更多的發展。

數據架構師和管理者今年花了很多精力研究主流關系型數據庫的內存處理技術。同時，非關系型數據庫的討論也很多，紐約咨詢公司Caserta Concepts的創始人兼總裁Joe Caserta認為：“如果你覺得你可以不需要龐大的SQL數據庫就可以完成一些任務，那么新興技術就算是取得了勝利?！?/span>

除了格外吸睛的hadoop之外，另一個引人關注的開源產品是分析處理引擎Spark，Spark經常和Hadoop 2搭載使用，在處理批任務時比MapReduce更快。Spark另一個關注點在于機器學習，這也是過去一年里大家常說的話題。

NoSQL & NewSQL

MongoDB, Couchbase, Aerospike等一長串的NoSQL數據庫在過去的一年里持續發聲，恐怕沒有哪一天是不說NoSQL的。在2014 MongoDB世界大會上，CitiData的全球總裁Michael Simone就諷刺了NOSQL數據庫的過度宣傳。不過這并不能阻擋NoSQL的發展勢頭，因為它確實擅長處理大規模數據集，尤其是網絡上多種格式的非結構化數據。

舉例來說，NoSQL數據庫經常被貼上內存標簽，支持實時決策，還可以幫助呼叫中心人員跟蹤用戶網絡行為，解決技術難題，以及存儲并分析社交媒體信息。

在回顧NoSQL數據庫的時候，我們不要忘了NewSQL技術，它致力于兼取SQL和NoSQL平臺之長。

數據架構是大數據的核心命題

這些技術的發展都離不開一個核心命題，即融入到企業數據架構。Accenture分析咨詢集團負責數據供應鏈的信息管理總監Vince Dell’Anno表示：“大數據今天面臨的主要問題是架構問題，即企業如何把這些新的技術集成到一個環境中?！?/span>

Dell’Anno表示，很多IT部門面臨的挑戰是他們要允許成百上千的終端用戶訪問新產生的數據，如何管理成了問題。事實上，構建可擴展的大數據系統、將其余現有數據倉庫、分析和運營環境集成是2014年技術發展的主題。很多時候，為了應用新工具，大數據架構師不得不放棄熟悉的數據模式，遵循新的數據管理方法。

就在2014年行將結束的時候，hadoop發行版供應商Hortonworks申請IPO上市，這個過程中，它籌資一億美元，Ovum分析師Tony Baer在博客中寫道，此舉對于商業前景的意義更大，這是一個新興的市場，幾乎所有的銷售的新產生的，競爭對手也相對較少。并且，這一領域還是有很多有待開墾的市場的。

其他Hadoop廠商和一些NoSQL廠商，也希望在2015年加入IPO大軍，這將有利于新的數據處理技術走向成熟和完整。