大數據分析的三大演進方向

最近Gartner發布了2013年度BI和數據分析的魔力四象限圖，同時Wikibon也發布了2013年大數據市場預測，兩份報告都明確指出，隨著數據分析正在成為企業IT的核心，昔日的BI-ETL-EDW分析范型已經完全落伍，不再適用。

2013開年不久，一連串的重大事件的發生標志著大數據和數據分析領域正在加速演進，對于數據分析師專業人士和企業管理者來說，2013年是大數據進入企業應用的關鍵一年。

近日Alteryx公司總裁喬治馬修（George Mathew，Twitter帳號@gkm1）與大數據領域的著名專家Mayank Bawa、Mike Olson和Scott Yara就數據分析的傳統范型（BI-ETL-EDW）即將被新的分析范型取代達成共識，幾位專家認為全新的數據分析平臺將消除當前分析軟件在設計和實施方面的延遲和低效率，從根本上重新思考和定義三大阻礙企業數據分析應用的關鍵問題：數據管理、分析透明度以及用戶應用。

以下是馬修在博客中對新數據分析范型三大演進方向的解讀，IT經理網編譯整理如下：

一、數據管理

Hadoop已經成為企業管理大數據的基礎支撐技術。最近隨著Greenplum Pivotal HD、Hortonworks Stinger和Cloudera的Impala的發布，Hadoop的技術創新速度正在加快，上述Hadoop項目傳遞出一個非常明確的信號：主要的Hadoop發行商想要在Hadoop HDFS之上提供實時、互動的查詢服務。這個趨勢將兩個領域的杰作整合到了一起：眾所周知的SQL查詢處理與具備指數級擴展能力的HDFS存儲架構。參考閱讀：Hadoop發行版升級，NoSQL的未來是SQL？

二、去黑箱化

預測分析是管理者進行數據化決策的關鍵。目前預測和統計分析領域已經已經有很多技術可以幫助企業洞察不遠的未來。但預測分析眼下面臨的的最大問題是“黑箱”化。隨著企業領導越來越多地以來預測分析技術做出重大商業決策，預測分析技術需要去黑箱化：包括應用自描述數據沿襲，增加對底層數學和算法解釋等?！叭ズ谙浠庇欣谄髽I管理者學會徹底駕馭數據分析工具，不但看到數據分析結果，還知道分析是如何得來的，分析工具的設計原理等，這有助于管理者增加對預測分析的信心，而不是過去那樣完全依靠“信仰”。

三、應用普及

即使實現了分析的去黑箱化，企業數據分析應用在企業中的部署依然面臨以下幾個方面的挑戰：發布可復用應用，創建最佳實踐、組織范圍內的橫向協作，無縫重組模型等。在最終用戶（員工）中的應用普及是數據分析成功的關鍵。例如建設一個專門提供分析應用的企業移動應用商店App Store往往能大大加快數據分析的應用普及。

新數據分析范型的重要特征：

新的數據分析范型是目標導向的，不關心數據的來源和格式，能夠無縫處理結構化、非結構化和半結構化數據。能夠輸出有效結果；能夠提供去黑箱化的預測分析服務，能夠面向更廣泛的普通員工快速部署分析應用。

最近Gartner發布了2013年度BI和分析的魔力四象限圖，同時Wikibon也發布了2013年大數據市場預測，兩個報告都明確指出，隨著數據分析正在成為企業IT的核心，昔日的BI-ETL-EDW分析范型已經完全落伍，不再適用。新的數據分析范型正在崛起，以下是我們能看到的未來趨勢：

1. Hadoop（和NoSQL）正在顛覆我們對PB級別大數據的管理方式。
2. R和Stata的崛起，正在沖擊傳統分析學術圈的的黑箱式分析方法，這也代表著商業世界的發展趨勢。
3. 分析應用將不再是數據科學家的專利，更多分析應用將以預先打包的內容和應用發送到數據分析師和企業員工的手中。