數據融合的六個基本步驟

數據融合：大數據分析的瓶頸

數據處理新工具使數據科學家從數據準備的繁瑣工作中解放出來，但如何根據每個數據分析項目量體定制，融合多源數據以形成有效的分析數據集仍是數據科學家必須面對的一個更具挑戰性的瓶頸。

利用互聯網購物的營銷數據來追蹤和勾畫消費行為并以此為據促銷是大數據應用的成功典型案例。有些人已此將大數據吹得神乎其神，好像它能成為萬能藥。其實，這只是大數據應用中的很小一部分。作為智能決策的支持手段之一，大數據在企業、事業、政府、社會管理和發展上的應用是更重要的挑戰。在這里，多源數據的融合就成為大數據分析中的瓶頸。

每個親身參加過大數據項目的數據科學家、數據分析師、數據庫管理員都會告訴你，項目的80%的時間和經費花在數據的準備工作上。這其中多源數據的融合是最耗費資源的任務之一。難怪最近紐約時報驚呼：“數據科學家把高達 80%的時間用于數據準備而不是用來發現新的商業智能”。

傳統的統計分析經常是對單一數據源(營銷數據、行政報表、問卷調查、人口普查等)進行深入的追蹤和分析。分析人員對數據的來源和結構有一定的控制和深層的了解。在大數據時代，數據源是多樣的、自然形成的、海量的數據常常是半結構或無結構的。這就要求數據科學家和分析師駕馭多樣、多源的數據，將它們梳理后進行挖掘和分析。在這個過程中，數據融合(data blending)就成為不可或缺的一步。

數據融合與數據倉庫(Data Warehouse)、數據一體化(Data Integration)不同。它的目的不是將一個企業(Enterprise)或組織的所有數據集中在一起并標準化而產生唯一的真相(Single Truth)。它是以產生決策智能為目標將多種數據源中的相關數據提取、融合、梳理整合成一個分析數據集(Analytic Dataset)。這個分析數據集是個獨立的和靈活的實體，可隨數據源的變化重組、調整和更新。數據融合勝于數據倉庫和數據一體化的另一點是它能包容多源數據。

數據融合有六個基本步驟：

連接所需多源數據庫并獲取相關數據，

研究和理解所獲得的數據，

梳理和清理數據，

數據轉換和建立結構，

數據組合，

建立分析數據集。

這個過程的每一步都需要數據工作者認真細致的思考、辨認、測試、清理、最后產生可信賴、有意義的分析數據庫。在過去，這個數據準備過程很大程度上是通過手動，十分費時和艱辛。即使有數據處理的軟件(如Excel, SAS, SPSS等)，每個數據工作者也都是自己使用所熟悉的工具，形成個性化的，充其量是半自動的數據準備程序。最近幾年，大數據技術公司將數據處理整合過程中相關技術集合，組合，提升后開發出專門用于數據融合的新工具。應用這些直觀、可視、高效的軟件工具，數據準備的過程的工效大大提高，在一定程度上解決了數據融合的技術瓶頸。

數據融合的另一瓶頸是思維。打個比方，數據融合就像水泥的現場合成。水泥制作可以從人工攪拌變為機械合成，提高了工效。但水泥配置仍需要正確的配方;沙、石、混凝土的比例，以及相關化學成份的添加對達到水泥的質量標準至關重要。數據處理新工具使數據科學家從數據準備的繁瑣工作中解放了出來，但如何根據每個數據分析項目量體定制，融合多源數據以形成有效的分析數據集仍是數據科學家必須面對的一個更具挑戰性的瓶頸。

多源的數據可以歸納為三大類：

一手數據(Primary Data)，包括企業或組織直接采集掌控的內部運行數據和營銷數據，

二級數據(Secondary Data)，第三者采集、整理、和提供的二手數據，如經濟指標、人口普查、民意調查、網路數據等，

科學數據(Scientific Data)，包括科學研究 的成果、指數、算法、模型等。

這三類數據為數據為驅動的智能決策提供了不同的觀察角度。一手數據具體、靈活、快速積累能夠實時或接近實時地為決策者提供監測、追蹤、描述信息。二級數據一般是定期公布的數據，它能提供國家、地區、行業的狀況信息，成為數據分析中的可比性坐標?？茖W數據的更新是不定時的，但它代表著目前科研成果，對數據分析的建模和算法提供科學基礎。在大數據分析項目中，數據科學家需要針對具體研究課題同時收集、整理、融合相關的三類數據。數據科學家的水平就體現在將三類數據合理、有效、有意義的融合上。

數據融合是目前大數據應用和智能決策過程中一個瓶頸。這個挑戰引發了新一輪大數據工具的快速發展。根據2016年高德納公司數據管理和分析軟件工具的評估報告，自我服務式數據準備軟件(Self-service Data Preparation)已成為發展最快的工具之一。這一發展趨勢應引起我們的關注。同時，數據融合的思維瓶頸仍是所有數據科學家必須面對的更高層次的挑戰。