2017大數據產業從數據中尋找智慧的力量

大數據產業發展了兩年之后，從探索階段進入了應用階段。企業和政府看到了數據價值，從被動了解走向主動擁抱。數據被定義成重要的資源，正在得到企業的重視，在企業的經營過程中發揮著重要的作用。數據部門或者數據負責人也成為熱點，正在幫助企業實施數據戰略，尋找數的商業價值。

數據的商業應用成為企業認識數據價值的一個切入點，也是企業實施數據戰略的一個重要前提。數據如何應用，數據如何同場景結合，數據如何變成生產力，數據如何指導業務決策成為了企業最關心的問題。大多數企業還是將精力放在數據架構，技術平臺，數據采集等探索工作，沒有理順數據價值應用的發展路徑，也沒有從數據中看到真正的商業價值，看到智慧的力量。

數據本身是沒有價值的，必須同商業需求結合在一起，才能夠產生化學反映，體現商業價值。數據的應用場景常常成為企業在數據應用中最迫切的需求。中國有句古話，不積跬步無以至千里，數據的價值應用需要經歷多個階段，完成所有基礎工作之后，數據的商業價值才能體現出來。就像一個武功高手，必須先擁有多年修煉的內功，才能夠吐納自如，于無形中取得優勢，一擊而中。

一、企業需要重新認識數據工程

從數據到智慧，從數據到資產，從數據到價值需要系統化思維和嚴謹的數據工程，沒有經歷過數據工程，數據應用將失去一個重要基礎，無法在企業中發揮出作用。

企業發展過程中經歷過業務工程和技術工程，業務工程是指商業模式尋找的過程，主要是指的業務流程的建立。經過多次試錯，企業通過業務工程找到了成熟的商業模式。企業借助于業務工程建立了業務流程，業務工程幫助企業解決了業務環節中分工和責任的問題，幫助企業高效運轉起來，并從根本上解決了企業擴大規模，高速運轉過程中需要解決的管理問題，業務工程也可以看成是管理工程。

技術工程是指在業務工程實施過程中，業務流程的工具化、系統化過程。借助于信息系統的搭建和實施，企業對業務流程實施控制，提高流程效率，降低業務運營成本。技術工程就是信息化過程，幫助企業利用系統和工具來管理業務流程，實現業務工程。

業務工程和技術工程都解決了一個問題，就是現代化生產，標準化企業的商業模式和業務流程。業務流程成為業務工程和技術工程的核心，數據成為業務工程和技術工程的附屬品和重要的流程產物。

在企業以產品為中心的時代，客戶缺少選擇權，數據作為副產品，主要是用于財務控制和資源管理。數據沒有被作為一種資產來看待，更多的時候，數據只是一個流程的記錄，是業務流程的副產品。企業不會化太多的精力去經營，企業將大部分精力放在了產品和是市場宣傳。

當進入以客戶為中心的時代之后，用戶成為了企業的中心，數據也成了聯系客戶和洞察客戶的直接橋梁。如果企業想更多地了解客戶，分析客戶需求，優化產品，提升客戶滿意度，企業就必須利用數據了解客戶的消費，行為，心理以及預測客戶未來的需求。數據將不再是業務流程中的副產品，將會是企業了解客戶的一個途徑。數據不再僅僅是業務流程中的記錄，將會成為一類特殊的資產，從數據中看到更多的價值。

數據工程就是以數據為中心，從數據采集到數據應用的過程。

數據工程也是從數據到智慧的過程，其必須經歷四個階段，原始數據到原數據，原數據到信息，信息到知識，知識到智慧。

原始數據到原數據是數據采集和處理過程

數據以多種形式存在，主要的形式是流程中記錄下來的數據，多為結構化數據，直接采集信息系統的數據庫里面，形成原數據，直接就可以調用。另一部分是行為數據，分為主動行為數據和被動行為數據，主動行為數據包括社交數據，點擊數據，瀏覽數據，言論數據等。

被動行為數據就是傳感器數據，包括GPS數據，WIFI，ibeacon，攝像頭，壓力感應器，氣壓記，濕度記等傳感器采集的數據，這些數據只有通過數據采集和處理，才可以放到數據庫里面進行應用。

原數據就是指放到結構化數據庫里面，可以直接調用和分析的數據，是數據應用的基礎，數據標簽的主要來源就是原數據。

原數據到信息是數據統計分析的過程

這個階段是數據統計匯總，以不同維度和角度展現的過程，我門看到的數據報表和數據可視化過程就是數據到信息的過程。

信息是數據具有價值的第一個產品，從信息中可以看到業務發展趨勢和業務經營情況。經?？吹綐I務數據的環比、同比、對比、百分比、熱力圖等都是數據作為信息的展示方式。從數據統計匯總中基本上可以了解業務經營情況，產品銷售情況，客戶增長情況，客戶滿意情況等基本信息。信息可以幫助企業從數據中了解商業經營情況，從數據中了解運營成本，單個客戶價值等情況。

信息是數據價值應用的第一個階段，企業主要通過信息統計來了解客戶滿意度和產品銷售情況，大部分企業的數據應用處于這個階段。數據還沒有開始幫助企業進行一些商業決策。

信息到知識是數據分析挖掘過程

這個過程需要人的智慧，借助于數據分析，企業可以發現一些商業機會，包括產品體驗和客戶需求，高價值客戶和流失客戶，潛在客戶的基本特征和基本需求，也包括用戶行為的分析以及需求。

在這個階段企業可以借助于數據分析和挖掘發現產品銷售的相關性，提升相關產品搭配銷售。借助于知識圖譜技術找到羊毛黨和網絡欺詐分子的特征，制定反欺詐的規則。通過分析用戶下班之后在App中的行為，針對性推送一些具有價值的交易信息，幫助客戶進行決策。通過分析客戶物理行為軌跡和品牌偏好，幫助企業客戶制定廣告營銷策略以及商鋪搭配策略等。

信息到知識的過程是商業機會總結發現的過程，數據的價值體現在對客觀事物規律的總結，在這個階段，數據應用價值主要依靠人的智慧和高質量的數據分析結果。

知識到智慧是人工智能決策的過程

企業面臨的數據緯度是海量的，數據對于商業決策影響是多方面的。一個商業決策可能需要考慮和分析數十萬個數據個體和數據緯度，通過傳統的方法和工具已經無法短時間內幫助企業計算出結果，同時復雜無序的非結構化數據也在一定程度上加大了數據分析的難度。

基于新數據技術的人工智能或者說是數據模型已經可以幫助企業在復雜的數據中去發現一些規律，幫助企業進行商業決策。例如金融企業可以借助于TDA拓撲分析、RF(隨機森林)，GBDT，深度學習，遺傳算法等方式來進行基于行為數據的風控?？梢匀〉?0%以上的判斷準確率。另外互聯網企業的開源計算框架(軟件庫)正在提升算法的速度和精度。