一個大數據首席科學家眼中的大數據產業2016年終總結

大數據產業發展了兩年后，從探索階段進入了應用階段。數據被定義成重要的資源，正在得到企業的重視，在經營過程中發揮著重要的作用。企業看到了數據價值，從被動了解走向主動擁抱。

2016大數據產業保持高增長，2017進入智能數據時代大數據產業發展了兩年后，從探索階段進入了應用階段。數據被定義成重要的資源，正在得到企業的重視，在經營過程中發揮著重要的作用。企業看到了數據價值，從被動了解走向主動擁抱。數據如何同業務場景結合，如何變成生產力，如何指導業務決策成為企業最關心的問題。數據本身是沒有價值的，必須同商業需求結合在一起，才能夠產生化學反映，體現商業價值。大多數企業還是將精力放在數據架構、技術平臺、數據采集等探索工作，沒有理順數據價值應用的發展路徑，也沒有從數據中看到真正的商業價值，看到智慧的力量。

大數據時代，企業面臨海量的數據，其中 80% 的數據為非結構化數據。企業需要對所有數據進行整合，將數據作為一種資產進行管理。數據的商業價值在很大程度上是同數據的實效性正向相關的，硅谷 80% 大數據公司正在從事數據清洗和整理的工作，一方面說明大數據的清洗加工是個巨大市場，另一方面也說明了海量數據的實時處理是個難題。我們先回顧一下2016年中國大數據產業發展情況。

1. 大數據產業發展概況

2015年中國大數據產業進入爆發增長的元年，2016年大數據產業保持高速增長，其中典型的事件有：貴州獲批建設首個國家級大數據試驗區;貴陽數博會上升為國家級博覽會;李克強總理到現場支持大數據產業發展;國務院印發《促進大數據發展行動綱要》系統部署大數據發展工作;在國家工信部的牽頭帶領下，《大數據產業“十三五”發展規劃》正式頒布。工業大數據、大數據資源開放共享、大數據交易、大數據安全、大數據標準、大數據行業應用等領域稱為研究重點，首次提出了將大數據產業分為金融大數據、能源大數據、農業大數據、醫療大數據等三十多個分支行業，代表了大數據正在更深融入各行業產業。

2. 大數據產業融資情況

2016 年是中國市場的資本寒冬，很多創業公司深感融資困難，大數據領域企業的融資也受到一些影響，融資總額有所下降，具有技術和商業模式優勢的大數據企業融資影響不大，但是初創型企業融資比較困難。2015年有超過50家大數據相關的創業公司獲得40多億元投資，中國大數據市場一片欣欣向榮。2016年全年預估有30多家企業獲得融資，融資總額不會超過2015年。

考慮到中國降低 IOE 等國外技術廠商的需要，云計算技術和商業模式成熟，信息化技術平臺換代到需求，數據商業價值的逐步體現，大數據產業仍然是未來風險投資的重點領域，特別是2016年人工智能在的崛起，讓大數據產業未來發展的前景越來越樂觀。大數據產業是一個基礎產業，覆蓋各個領域，其中人工智能是解決具體商業問題的手段，是大數據產業發展中支撐和衍生出的一個產業。

3. 大數據產業的技術發展

2016最重要的一個事件是Spark 2.0版的發布，將大數據開源產品的商業化推進了一大步，Spark 2.0 對標準的SQL支持，統一DataFrame和Dataset API?，F在已經可以運行TPC-DS所有的99個查詢，這99個查詢需要SQL 2003的許多特性;采用第二代Tungsten engine，建立在現代編譯器和MPP數據庫的想法上，并且把它們應用于數據的處理過程中，最高性能提升10倍;一種新穎的流處理方式，Structured Streaming APIs，利用Catalyst優化器來發現什么時候可以透明的將靜態的程序轉到增量執行的動態工作或者無限數據流中。從實用性的角度，Spark提升的幾個功能確實是企業用戶特別看重的內容，Databricks以及社區開始重視商業需求，Spark向商業產品化的方向轉變正在加速，企業對大數據平臺穩定性和一致性要求將很快解決。

4. 大數據應用案例

在大數據應用領域，我們看了更多成熟的大數據案例。大數據正在技術主導型產業發展轉向價值應用型產業：

1、實時圖像處理和識別技術幫助公安系統將違章車輛車牌識別的準確度提升了幾十倍;借助于實時監控和圖像識別，民警及時解救出多名被拐賣的兒童;刑事案件破案周期在技術進步的驅動下，正在逐步縮短。

2、交通大數據正在幫助城市管理者優化紅綠燈，機動車的通行效率提升了30%。

3、金融行業，借助于數據采集和分析，識別出惡意欺詐分子，提升了風險管理水平，降低了營銷成本。

4、地產行業，利用外部數據進行項目土地投策分析和商鋪配置分析，優化了商業地產投資，提升了項目回報率。

5、養殖業通過測算在欄母豬的數量，預測未來生豬供應量和豬飼料的價格，幫助養殖戶提前進行飼料準備和定制生豬出欄計劃。

6、零售行業依據客戶消費紀錄，借助于線上和線下數據的打通，為客戶推薦喜歡的產品。

7、旅游景點和旅游局參考景區人流熱度來引導客戶游覽路線，提升了游客瀏覽體驗，降低了事故的發生。

5. 智能時代的到來

我們不再鼓吹大數據的魔力，我們提倡掌握智能數據，一種經過處理和分析，可以幫助企業實現商業價值的數據。智能數據來源于我們企業生產經營，也來源于行為數據等非結構化數據，還來源外部商業環境生產出來第三方數據。大數據時代提升了人們對數據價值的認識，智能數據幫助實現數據對商業的價值。

數據過去分散在企業的各個系統中，是企業流程中的副產品，企業主要利用數據進行 ROI 分析和財務分析。但即使是信息化程度較高的金融行業，也僅僅利用了不到 40% 的數據。大量數據的價值沒有被發現，數據還沒有被當作一種資產去管理和挖掘價值。數據的積累和人工智能的發展相輔相成。按照人工智能專家吳恩達(Andrew Ng)的說法，“數據是人工智能的燃料，如果只有很大的引擎(算法)而沒有充足的數據作為燃料，人工智能這艘火箭是無法實現騰飛的”。同時人工智能帶來更多的應用場景，比如聊天機器人和自動駕駛汽車，這些應用場景也在不斷產生新的數據?，F在，數據已經不僅僅只是“大”，它還變得更加“智能”，更加有用——我們已經進入智能數據時代!

 

數據、人工智能和人類智慧，成為智能數據時代的三大要素。數據的積累，可以為人類提供更多更細的洞察分析，人類經驗得以增強，人類智慧得以增長。比如，通過更多來自于手機的用戶行為分析，企業可以對自己的用戶有更多了解，包括他們的生活喜好、消費習慣等，以此產生更多的營銷的機會。并且人工智能本身也需要人類智慧的介入，以引導人工智能的方向，提高人工智能的效率。比如，AlphaGo 也需要不斷的和人類圍棋高手對戰，依靠人類智慧的輔助，才能持續提升棋力。

6. 智能時代企業面臨的挑戰

智能數據時代之前，企業接觸客戶的方式都以線下為主，企業直接可以面對客戶，從客戶的反饋中了解產品需求，并利用大量客戶調研數據來制定商業決策。智能數據時代，商業行為正在逐步向線上遷移，客戶選擇商品的決策時間在逐漸縮短，企業必須適應客戶快速決策的方式，讓產品營銷適應客戶的需求節奏。另外客戶購買產品和服務時，除了考慮產品的性價比之外，還更加重視購買過程的用戶體驗，這都需要大量數據來幫助企業了解客戶體驗，提升客戶滿意度。

智能數據時代，客戶和企業被各種數據包圍著，客戶數據、交易數據、社交數據、行為數據、傳感器數據等等。數據之間具有較強的商業關聯關系，同客戶需求具有直接和間接的商業關系。復雜而海量的數據依靠傳統的統計分析和數據挖掘，已經不能夠在時間和效果兩個方面來滿足企業的商業需求，必須需要利用新的技術和新的平臺來解決問題。

智能數據時代企業在數據和運營面臨多種挑戰，不僅包括數據思維的挑戰，還有數據價值和數據場景的挑戰。在數據的處理方式和技術，以及數據資產管理方面，企業都面臨著現實和巨大的挑戰。

1 )數據商業化思維的挑戰

智能數據時代，商業發展非常迅速，企業必須在快節奏中找到自己的位置，加快決策。過去一個企業的產品從設計到推向市場需要三到六個月的周期，產品的生命周期大概為六個月，這樣一年下來企業推出的新產品的節奏基本穩定在九個月左右。但是現在這種產品節奏無法適應競爭和客戶的需要，新產品推出的周期要縮短到以周或天為單位，產品自身的生命周期也在不斷地縮小。

例如，過去一雙鞋子從設計到推向市場需要三個月，現在僅僅需要一星期。意大利某個展覽會推出的鞋子款式，電商會在一個星期之內將產品生產出來，并直接發給客戶。這背后的原因是商家的商業敏感度和商業思維，但是支撐這一切的商業行為發生的卻是數據思維。從產品展示到客戶需求，從產品模型到廠家生產，從產品量產到客戶訂單，所有這一切都必須需要嚴格的數據作為支撐，缺少任何一個環節或者任何一個數據差錯都會導致這個商業行為的失敗。智能數據時代，高速商業決策節奏的背后支撐的是數據商業化思維。

2 )數據資產管理和數據技術的挑戰

在過去，數據只是商業活動中的副產品，并沒有被認為是一種資產，企業沒有將數據匯聚在一起，進行集中管理。數據資產這個概念是智能數據時代被重點提出的，特別是經濟活動節奏越來越快，客戶需求變化越來越快，數據對經濟活動的反饋對商業決策影響越來越大。海量數據必須作為數據資產進行統一管理才能夠幫助企業了解客戶需求和企業經營情況，企業也可以從數據資產發現新的商業機會和營銷場景。

多種數據源實時處理、數據之間打通、數據資產標識和管理、數據調用和邏輯組合等數據處理技術是一個巨大挑戰。高效的數據處理技術為數據資產管理帶來了可能，也為企業管理和應用這些數據帶來了巨大的商業價值。金融行業中的花旗銀行，其25%的零售銀行收入來源于對數據資產的挖掘和應用。移動互聯網企業，數據處理技術正在成為其業務經營的基礎，亞馬遜Amazon，其40%的業務收入來源于推薦引擎技術。

3)數據價值和數據應用的挑戰

數據是對經濟和用戶需求的反饋，利用數據分析和數據挖掘可以幫助企業發現商業機會并實現數據價值。數據價值可以簡單總結為：幫助企業提高效率降低成本、增加商業收入和指導商業決策。數據應用是數據價值的具體體現，智能數據時代的數據應用主要集中在客戶分析、數字運營、精準營銷、風險控制、智能決策等幾個方面。

商業競爭的激烈讓時間的價值凸顯，很多產品決策和商業決策必須要在短時間內作出，否則將會失去市場先機，并有可能被競爭對手模仿、超越。數據對商業決策的影響力正在不斷加強，數據支撐的商業決策分析對時間和準確度的要求越來越敏感。在這種情況下，智能數據時代對企業對要求越來越高，對數據處理技術、數據分析、數據決策要求也將越來越嚴格。

2017年大數據將進入智能數據時代

2017年隨著人工智能的高速發展，大數據時代將進入到智能數據時代。數據既是一個金礦需要企業去挖掘價值，同時也是一個巨大的噪音，干擾著企業的商業分析和決策。智能時代，企業需要從包含噪音的海量數據中發現具有商業價值的智能數據，同業務深度結合，利用數據應用幫助企業實現智能決策。