2015年大數據市場應用與趨勢調研

即將逝去的2015年，被認為是具有跨時代意義的“大數據元年”。在這一年，數據比以往任何時候都要寶貴，甚至成為可以與石油資源相媲美的新能源，大數據被認為是繼信息化和互聯網后整個信息革命的又一次高峰。然而，大數據不是口號，需要更多的企業付諸實踐，從單調的數據中挖掘出潛在價值。

年初的一項調查曾指出，28%的全球企業和25%的中國企業已經開始進行大數據實踐。為了進一步了解中國企業大數據應用的真實情況，IT168近期聯合ITPUB、ChinaUnix展開了一項有關大數據應用與趨勢的專項調查，揭示大數據給企業帶來的挑戰及其解決之道。

此次調查于2014年9月30日正式啟動，歷時一個半月，通過線上線下兩種途徑回收問卷500余份，人群覆蓋數據架構師、數據庫管理和運維工程師、數據庫開發工程師、數據分析師、研發總監和IT經理等技術人員。

調查主要結論：

1. 每月新增數據規模在500G以上的企業由2012年的16.67%，增長到18.11%。雖然擁有大數據的企業比例有所上升，但與預測中數據增長速度還有很大差距。

2. 選用國產大數據產品的企業僅占5.61%，國產廠商若抓住大數據和信息安全的重大機遇，將迎來成長的春天。

3. 企業認為大數據的存儲和處理過程中三個最大的難點是數據安全、系統性能瓶頸和數據類型多樣化。

4. 在大數據時代，企業面臨的最大挑戰是缺乏專業的大數據人才。

5. 針對非結構化數據，企業目前最迫切需要解決的是如何對這些數據進行分析。

6. 當前已經部署大數據的企業達到21.89%，計劃1年內部署的占27.92%，2014年將是大數據部署的高峰期。

7. 企業在大數據選型的過程中最先考慮的三個因素是產品的性能、服務與支持水平和與其他應用的兼容性。

8. 大多數企業選擇大數據產品或解決方案的類型是大數據分析軟件。

9. 被調查者最關注的大數據技術，排在前五位的分別是大數據分析、云數據庫、Hadoop、內存數據庫，以及數據安全。

10. 被調查者認為在大數據分析中最重要的三個功能，分別是實時分析、豐富的挖掘模型和可視化界面。

一、企業大數據應用現狀

如何定義大數據?這是一個仁者見仁、智者見智的問題。主流的有“3V”模型，即數量(Volume)、速度(Velocity)和種類(Variety);還有Gartner的定義，即大數據是超出了常用硬件環境和軟件工具在可接受的時間內為其用戶收集、管理和處理數據的能力。

龐大的數據量無疑是大數據最明顯的一個特征。有預測稱，全球信息量正以每年59%的速度增長。企業的數據規模是否達到難以承受的程度?在去年的調查中我們就曾對企業每月新增數據規模進行摸底，結果顯示企業的數據規模不斷增大，但還未達到企業無法掌控的程度，每月新增數據規模在500G以上的企業占到16.67%。

▲企業每月新增數據規模調查

今年的情況又是如何呢?從上圖可以看出，被調查者所在企業每月新增數據規模在10G以下的占到26.79%，11-100G的占到41.89%，101-500G的占到13.21%，500G以上的達到18.11%。

對比去年的結果可以看出，企業每月新增數據規模在500G以上的由2012年的16.67%，增長到2013年的18.11%，同比增長8.64%。擁有大數據的企業比例有所上升，但與預測中數據增長速度(59%)還有很大差距。

▲企業選用大數據廠商調查

企業更青睞哪家大數據廠商?或許從現有產品的部署情況可以看出端倪。從上圖可以看出，排在前六位的的廠商分別是IBM(18.74%)、Oracle(18.33%)、SAP(11.35%)、Microsoft(9.71%)、SAS(7.52%)和NetApp(7.52%)。

與2012年的調查數據相比，Oracle從27.93%下降到18.33%，一家獨大的狀況終止，取而代之的是遍地開花，各個廠商所占份額相對平均。前三位中IBM和SAP份額增長最為迅猛，分別由15.99%和7.66%增長到現在的18.74%和11.35%。

在今年的調查中，新增了國產廠商的選項。相比國外的幾家IT巨頭，國產廠商的占有率僅為5.61%。今年震驚一時的“棱鏡門”事件給企業信息安全敲響了警鐘，也給國產廠商帶來巨大的機遇和挑戰。大數據和信息安全領域的需求激增，國產廠商將迎來成長的春天。

二、企業大數據痛點分析

多年前，企業關注信息化和互聯網化，近幾年關注更多的是云計算、移動化和社交化。無論哪種技術趨勢，都給企業的數據處理和分析帶來不少難題。數據量的激增、數據多樣性和復雜性、數據安全的問題，都成為企業面臨的挑戰。為了進一步了解企業的真實需求，此次調查針對大數據時代的企業痛點進行分析。

▲企業大數據的存儲和處理難點調查

從上圖來看，企業在大數據存儲和處理上的難點分布比較均勻，所占比例最高的為數據安全(18.98%)，排在第二的是系統性能瓶頸(18.42%),第三位的是數據類型多樣化(18.01%)。其他還有數據分析效率低(15.24%)、數據讀寫瓶頸(14.96%)和存儲壓力(14.40%)。

選項之間的差距非常小，也說明這六項都被認為是企業數據存儲和處理的難點，其中數據安全是企業最關注的問題。在大數據環境下，很多企業正在重新思考信息安全策略，保護數據資源不被侵犯。

▲企業在大數據時代面臨的挑戰

在大數據時代，企業面臨的挑戰可以從上圖中看出一些端倪。缺乏專業的大數據人才(26.99%)成為企業面臨的最大挑戰，其次是非結構化數據的分析和處理(26.65%)、傳統技術難以處理大數據(25.27%)以及新技術門檻過高(21.13%)。

大數據相關人才的欠缺將會成為影響大數據市場發展的一個重要因素。據Gartner預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才，能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數據將會出現約100萬的人才缺口，需要社會、高校和企業共同努力去培養和挖掘。

▲企業針對非結構化數據的挑戰

面對文本、圖片、視頻等非結構化數據，企業并不擅長處理。從上圖的調查結果可以看出，企業目前最迫切需要解決的是如何對這些數據進行分析，所占比例達到38.96%。其次是與其他數據源進行集成(32.50%)、如何保存這些數據(14.72%)，以及數據安全問題(13.82%)。

《駕馭大數據》一書曾寫到，數據的核心是發現價值，而駕馭數據的核心是分析。分析是大數據最關鍵的環節，尤其對于傳統方式難以應對的非結構化數據，人們最先想到是把它們轉化為結構化數據，然后再處理和分析。

與企業對結構化數據安全性的關注不同，非結構化數據的安全問題在企業中缺乏應有的重視。但據統計，高達80%的商業數據均以非結構化的形式保存。非結構化數據的安全問題也迫在眉睫，企業需要提前做好預警和規劃。

三、企業大數據選型規劃

毋庸置疑，大數據是2013年最熱門的話題。熱鬧之余，我們還應該冷靜的思考一下，企業是否需要部署大數據、需要部署哪種類型的大數據，以及如何選擇適合的解決方案，需要做一個有針對性的選型規劃。

根據今年的一項調查顯示，全球企業軟件支出近300億美元，相比2012年增長6.4%，預計2014年企業支出將向大數據傾斜，尤其在企業內容管理、數據集成和數據質量工具三個方面。

▲部署大數據應用規劃調查

從國內企業大數據應用的現狀和規劃來看，情況有什么不同呢?通過上圖可以看出，目前已經部署大數據應用的企業所占比例達到21.89%，計劃1年內部署的企業占27.92%，計劃2年內部署的企業占14.34%，沒有相關計劃和不確定的企業分別占11.32%和24.53%。

大數據時代，企業已經逐漸意識到數據的重要性，也慢慢開始接受從傳統數據庫到大數據分析的轉變。但是大數據最大的難點就是落地，需要與業務需求相結合，選擇一套合適的大數據解決方案。

▲大數據選型影響因素調查

從上圖可以看出，企業在大數據選型的過程中最先考慮的三個因素是產品的性能(19.79%)、服務與支持(15.20%)和兼容不同應用(13.94%)。其次是產品的價格(13.16%)、產品的易用性(12.18%)、支持移動化(11.11%)、所屬廠商及品牌(7.80%)，以及是否開源(6.82%)。

產品的性能排在第一位是毋庸置疑的。排名在產品價格前面的服務與支持，卻似乎印證了IT廠商向服務提供商轉型道路的正確性。另外，隨著移動化的不斷深入，支持移動版的大數據解決方案，將成為未來趨勢。

▲大數據產品或解決方案類型調查

除了產品選型時考慮的因素，企業選擇什么類型的大數據產品或解決方案更適合自己呢?從上圖可以看出，選擇大數據分析軟件的企業占32.05%、選擇大數據整體解決方案的占28.96%，選擇基礎架構產品的占28.38%，最少選擇的是大數據一體機，所占比例達到10.62%。

除了前文所述的大數據分析的重要性之外，我們還可以看到大數據一體機沒有想象中那么受歡迎。據業內人士透露，大數據一體機往往針對某一業務流程設計，缺乏普適性，且價格昂貴，不是一般企業能夠接受的。所以目前的大數據一體機往往針對成熟的業務流程，能極大的簡化部署和維護工作。

四、企業大數據應用趨勢

在很長的一段時間中，只要一提到大數據，人們的腦海中總會浮現出Hadoop，它幾乎成為大數據的代名詞。但其實大數據的技術領域很廣，涉及數據獲取、整合、治理、分析、探索、汲取智慧的方方面面。

▲大數據技術趨勢調查

從上圖可以看出，被調查者最關注的大數據技術中，排在前五位的分別是大數據分析(12.91%)、云數據庫(11.82%)、Hadoop(11.73%)、內存數據庫(11.64%)，以及數據安全(9.21%)。其次是NoSQL(8.21%)、數據倉庫(8.21%)、數據集成(7.94%)、商業智能(7.13%)、列式數據庫(5.96%)、大數據(數據庫)一體機(3.52%)，以及NewSQL(1.71%)。

令人欣慰的是，Hadoop已不再是人們心目中僅有的大數據技術，而大數據分析成為最被關注的技術。從中可以看出，人們對大數據的了解已經逐漸深入，關注的技術點也越來越多。

▲大數據分析功能調查

既然大數據分析是最被關注的技術趨勢，那么大數據分析中的哪項功能是最重要的呢?從上圖可以看出，排在前三位的功能分別是實時分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。其次是預測分析(13.10%)、社交數據分析(12.12%)、云端服務(11.69%)，以及移動BI(7.90%)。

2013年也曾做過類似的調查，當時選擇豐富的挖掘模型(27.22%)比實時分析(19.88%)多7.34%。短短一年時間內，企業對實時分析的需求激增，成就了很多以實時分析為創新技術的大數據廠商。

總結

本調查針對2014年大數據應用現狀和趨勢展開，從調查結果可以看出，企業在未來一兩年中有迫切部署大數據的需求，并且已經從一開始的基礎設施建設，逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時，大數據還面臨人才的缺乏的挑戰，需要企業和cda數據分析師官網，高校聯合起來，培養數據領域的復合型人才，幫助企業打贏這場“數據戰”。