云消費時代大數據與商業智能的應用

云消費時代隨著電子商務的普及與電子身份識別、傳感技術的快速發展，越來越多的經濟行為被記錄下來，例如淘寶網站單日數據產生量超過5萬GB，百度公司每天大約要處理60億次搜索請求，目前數據總量超過10億GB，而一個8Mbps的攝像頭一小時就能產生3.6GB的數據，一個城市每月產生的數據則高達上千萬GB?！秶H數據公司（IDC）全球大數據研究報告》指出，過去3年人類社會產生的數據總量被以往4萬年還多，到2020年數據量將增長10倍，達到44ZB（ZB：十萬億億字節=1024*1024*1024TB）。這些數據不但在數量上十分龐大，包含的信息類型也越來越繁雜，相較于過去的數據量被稱之為大數據。

云消費時代的大數據發展趨勢

1、大數據的技術應用特征

大數據其表現的特征如下：首先是數據來源多，這其中包括企業內部多個應用系統的數據、互聯網和物聯網的興起，帶來了微博、社交網站、傳感器等多種來源；其次是數據類型多，表現為保存在關系數據庫中的結構化數據只占少數，80%以上數據是如圖片、音頻、視頻、模型、連接信息、文檔等非結構化和半結構化數據；以及關聯性強，表現為數據之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強的關聯性。

圖1結構化數據與非/半結構化數據比例

在商業領域，這些信息不僅僅包括交易行為本身，還包括消費者線上交易從搜索、對比、選擇、購買、一直到售后評價等一系列操作數據，以及消費者線下交易通過手機電子標簽、商場的識別裝置等記錄的瀏覽軌跡、停留時間、商品購買頻率等一系列活動數據。這些數據與以往以字段為基本數據單位的結構化數據大不相同，被稱為非結構化數據，而對非結構化讀取、處理的技術，即是大數據技術的重要組成。在小數據時代，依靠傳統商業智能的計算方法以批處理為主，采用離線計算、集中式運行。而在云消費時代，海量數據的查詢、分析與利用所需要的時間從量變到質變，1s響應時間成為臨界點。對于大數據應用而言，必須要在1秒鐘內形成答案，否則處理結果就是過時和無效的。因此支持流計算，能夠實時分析，數據庫采用分布式結構，成為云消費時代商業智能的主流處理方式。而在的計算方式上，傳統數據分析依靠企業報表系統，通過特定數值的比對、增長分析、交叉分析、回歸分析等，數據向算法靠攏，將數據套入到固定的算法當中，對數據進行整合分析與報送。而云消費時代，海量數據處理的最終結果不再僅僅是對一組或幾組數據的趨勢性概況與分析，而是通過更加深入的智能挖掘，算法向數據靠攏，根據數據的形式與結構采用更加靈活也更加復雜的算法，從而將過去的歷史數據報送轉變為對未來與結果的預測。以上就是區別大數據以及云消費時代的商業智能與傳統數據倉庫技術、商業智能技術的關鍵差別。

2、大數據的發展規模與前景

據國際數據公司（IDC）預計，全球大數據技術及服務市場2016年收入將達238億美元，接近1500億元人民幣，中國市場規模未來5年將增長近7倍。據中國產業發展研究網報告，2014年，中國大數據應用市場規模為80.54億元，同比增長3.2%，預計2015年市場規模將增長37.3%，至110.56億元，預計到2020年，中國大數據應用市場規模將增長至5019.58億元。2015-2017年復合增速為87.8%，這也是中國大數據應用市場預計增長最快的三年。

圖2  2014-2020年中國大數據產業規模市場及預測

以大數據為核心的變革正在商業領域掀起巨大波瀾，從搜索引擎、社交網絡、電子商務平臺等IT企業，到批發、零售、商業服務等流通領域企業，無不感到變革帶來的巨大機遇與挑戰。大數據與云消費時代的商業智能助力企業優化運營、簡化組織、智能決策以及創造更大的客戶價值，大數據應用越來越成為商業企業創新發展、制勝未來的重要因素。