大數據時代 數據驅動如何集成？

數據集成是指將來源于不同系統的數據組合在一起，供業務用戶研究不同的行業行為及客戶行為的數據處理方式。在數據集成應用早期，數據僅限于交易系統及其應用。業務決策的制定以決策平臺為指導，而有限的數據集提供了創建決策平臺的基礎。

數據容量與數據類型在過去三十年里大幅增長，數據倉庫技術從無到有，基礎架構和技術的發展滿足了分析和數據存儲需求。這一切徹底改變了數據集成的前景。

傳統數據集成技術主要關注于架構和相關編程模型的ETL、ELT、CDC和EAI類型。然而，在大數據環境里，這些技術需要根據規模和處理復雜度等需求進行修改，其中包括需要處理的數據格式。實現大數據處理需要兩個步驟。第一步是實現數據驅動的架構，其中包括數據處理的分析和設計。第二步是物理架構實現，我們將在下面的章節介紹這個步驟。

數據驅動的集成

在建造下一代數據倉庫的技術方法中，企業中所有數據首先會根據數據類型進行分類，也會考慮到數據本身的性質及其相關的處理需求。數據處理過程將會用到內置在處理邏輯中并且整合到一系列編程流程中的業務規則，數據處理會使用到企業元數據、MDM和語義技術(分詞技術)等。

圖10.3顯示了各類數據的入口數據處理過程。這個模型首先基于數據的格式和結構劃分數據類型，然后再進行ETL、ELT、CDC或文本處理技術中各個層次的規則處理。下面，讓我們來分析一下數據集成架構及其優點。

圖1

數據分類

如圖1所示，數據可以粗略地劃分為以下分類：

事務處理數據。比如典型的OLTP數據。

Web應用數據。比如組織開發的Web應用所產生的數據。這些數據包括點擊流數據、Web銷售數據及客戶關系和呼叫中心通話數據。

EDW數據。這是來自組織當前所用數據倉庫的現有數據。它可能包括組織中各種不同的數據倉庫和數據集市，它們存儲和處理著供業務用戶使用的數據。

分析數據。這些數據來自于目前組織部署的分析系統?，F在這些數據主要基于EDW或事務數據。

非結構化數據。這個大分類包括：

文本：文檔、筆記、記事和通訊錄

圖像：照片、圖表和圖形

視頻：與組織相關的企業和客戶視頻

社交媒體：Facebook、Twitter、Instagram、LinkedIn、論壇、YouTube和社區網站

音頻：呼叫中心通話、廣播

傳感器數據：包括來自營業范圍相關的各種設備的傳感器數據。例如，能源公司會產生智能測量儀表數據，而物流與配送供應商(UPS和FedEx)產生的是卡車和汽車傳感器數據。

天氣數據：現代B2B和B2C公司用天氣數據分析天氣對業務的影響;它已經成為預測分析的重要元素。

科學數據：應用于醫學、制藥、保險、醫療和金融服務，這些領域都需要復雜的數據計算能力，其中包括模擬和生成模型。

股市數據：許多組織用它處理金融數據，預測市場趨勢、金融風險和進行精算計算。

半結構化數據。其中包括電子郵件、演示文稿、數學模型、圖形和地理數據。

架構

在確定和整理好不同的數據類型之后，就可以清晰確定各種數據特征——包括數據類型、關聯的元數據、可以標識為主數據元素的重要數據元素、數據復雜度及擁有和管理數據的業務用戶。

工作負載

處理大數據的最大需求是前面章節所介紹的工作負載管理。

圖2

有了數據架構和分類，我們就可以分配可以執行該類數據工作負載需求的基礎架構。

我們可以根據數據容量和數據延遲時間將工作負載大體分成4類(圖2)。然后，我們再根據類別將數據分配到物理基礎架構層進行處理。該管理方法可以為數據倉庫的各個部分創建一種動態可擴展需求，它們可以高效利用當前及未來的新基礎方法。在這個時候，一定要注意的關鍵問題是要保持處理邏輯的靈活性，使它能夠在不同的物理基礎架構組件上發揮作用，因為數據是根據處理緊迫性進行分類的，這樣相同的數據就可能會被歸類到不同的工作負載上。

工作負載架構將進一步決定混合工作負載管理的條件，來自不同工作負載的數據會一同處理。

例如，通常我們只需要在一個環境中處理一種數據及其負載，如果將高容量低延遲數據和低容量高延遲數據放在一起處理，數據處理環境就會面臨多樣化壓力。同時發生或高頻的用戶查詢和數據加載會進一步加大數據處理的復雜性，情況可能會很快失去控制，然后影響整體性能。如果一個基礎架構同時處理大數據和傳統數據，再加上這些復雜性，那么問題會更加嚴重。

劃分工作負載的目標是確定數據處理的復雜性，以及如何降低下一代數據倉庫的基礎架構設計的風險。