一個數據分析系統的技術架構設計淺析

本文是曾經參與的一個大型項目的解決方案的技術架構設計的簡要總結與闡釋，僅僅分析該系統的眾多的內部構件之間的邏輯關系，僅供參考。
    數據分析系統的主要功能是從眾多外部系統中，采集相關的業務數據，集中存儲到系統的數據庫中。系統內部對所有的原始數據通過一系列處理轉換之后，存儲到數據倉庫的基礎庫中；然后，通過業務需要進行一系列的數據轉換到相應的數據集市，供其他上層數據應用組件進行專題分析。
    因此，從數據被采集、轉換、存儲、分析、應用的角度對系統內部技術構件進行抽象，將系統內部分為采集層、處理層、應用層、配置層4個邏輯層次。數據分析系統的技術體系架構如下圖：

    在采集層，主要應用接口適配器、網絡文件采集及轉換器、ESB總線等技術。接口適配器技術，用于適配各專業系統的數據采集接口，通過接口適配器來屏蔽各專業接口方式的差異性；網絡文件采集及轉換器，用于從各專業系統的采集文件數據，主要針對特定格式的各類網絡數據文件，負責對數據格式進行格式化、規范化等預處理；ESB總線對標準的WebService/JMS接口方式的數據進行采集。
    在處理層，主要應用數據持久化、J2EE、BI等技術。關系數據庫技術，用于存儲系統采集、處理、計算等業務數據，存儲系統各類運行參數配置信息，以及其他的運行過程信息；文件服務器，為各類文件型數據提供數據存儲和訪問服務；J2EE技術，是系統中所有B/S邏輯構件、應用程序、Web服務的容器，為各種B/S組件提供運行環境，并對其生命周期進行管控；BI的元數據管理為各類動態統計分析報表的數據聚合、多維分析、數據加載、數據生產、數據項、計算規則、展示方式等提供配置管理。
    在應用層，用于人機交互的主要應用BI、Web等技術。Web技術，提供系統的B/S界面的應用；BI技術，為各類動態統計分析結果提供報表、圖形、儀表盤等豐富的展示方式；用于系統交互的ESB總線技術，以數據總線的方式發布WebService調用、或者下發JMS數據，通過統一的數據發布系統為外部系統提供服務數據共享服務。
    在配置層，主要應用ETL可視化可配置平臺、規則引擎、工作流引擎等技術。ETL可視化配置技術，用于提供可視化、可配置的ETL數據抽取、轉換、加載的處理，主要針對數據庫數據、FTP標準文件格式的數據或者經過網絡文件采集及轉換器預處理過的中間數據；規則引擎部分為采集成各類適配及采集器提供配置數據的集中管理，包括提供接口文件的采集目錄、文件名規則、數據項約定以及ETL數據抽取規則等的配置管理；工作流引擎，提供從數據采集接口配置、采集數據項、ETL參數配置、指標關聯映射、BI參數關聯映射等全過程的流程化配置向導。