金融大數據分析的數據分流應用

隨著金融大數據技術應用，以及相關業務大數據應用不斷創新，金融機構的數據分析和業務創新，以及數據安全如何深度融合，是當前金融機構信息化面臨的重要挑戰。

銀監會印發《銀行業金融機構信息系統風險管理指引 》(2006年)，其中第二十七條：銀行業金融機構應加強數據采集、存貯、傳輸、使用、備份、恢復、抽檢、清理、銷毀等環節的有效管理，不得脫離系統采集加工、傳輸、存取數據;優化系統和數據庫安全設置，嚴格按授權使用系統和數據庫，采用適當的數據加密技術以保護敏感數據的傳輸和存取，保證數據的完整性、保密性。

銀監會印發《銀行業金融機構全面風險管理指引》(銀監發〔2016〕44號)，其中第四十三條：銀行業金融機構應當建立與業務規模、風險狀況等相匹配的信息科技基礎設施;第四十四條 銀行業金融機構應當建立健全數據質量控制機制，積累真實、準確、連續、完整的內部和外部數據，用于風險識別、計量、評估、監測、報告，以及資本和流動性充足情況的評估。

從銀監會的兩次下發指引文件要求中，我們可以看到，針對金融行業的數據分析，相對傳統行業，在數據的采集、存儲和處理過程中，在數據安全性、完整性、業務管理全面性上，有著更為嚴格的要求。

那在金融大數據技術應用領域，如何更高效、安全的實現金融業務數據的精細化采集管理，是其中一個細分的技術領域，也是我們今天探討的話題。

金融業務大數據的采集管理技術需求

金融行業的信息化在眾多異構系統和DT環境中，越來越重視可視化和業務關聯性，在互聯網化金融交易和大數據技術應用的背景下，相關數據采集、分析的技術需求演進出現了新的變化，那就是分別是分流調度管理技術和業務可視化技術。

可視化分析業務，需要采集、分析不同類別的數據，如基礎數據，日志數據，安全數據或特定業務數據，因此需要分門別類進行分類調度。專業的分析應用需要專業的設備和系統配合。

比如風險監管日趨嚴謹，每家金融機構對貸前風控、貸后風險管理的重視空前提高。而通過信息化手段實現風控能力上，數據準確完整，算法和模型是風控部署的核心。

現在的金融機構IT架構大多分為在線系統、近線系統與離線系統。在線系統主要面向最終用戶的交易請求;近線系統則針對一段時間內的歷史數據進行存放和進行溯源查詢;而離線系統則對歷史時間的數據進行歸檔，在特殊情況下會被恢復進行使用。

隨著大數據技術的蓬勃發展，金融機構對全量歷史數據的認知有新的變化。如何從歷史數據中挖掘其潛在價值，如何將離線數據在線化以滿足監管部門的需求，是很多銀行開始利用大數據技術解決的問題。

例如征信，銀行已經能夠獲取社會各類有意義的信息進行記錄，例如網上的各地各樓盤的房價、人行征信、法院執行紀錄、工商局信息、企業上下游現金流等信息，然后通過這種信息對個人企業進行分析對比，對超常理的數據進行風險警告，便于審計人員快速判斷識別潛在風險。

又比如客戶的POS刷卡記錄，企業上下游流水賬單，交稅信息等等，整個可對企業進行現金流測算。又或者對客戶信用卡還款時間，轉賬時間等等來判斷客戶手中現金或者回款時間，把推薦的理財營銷時間推送給其客戶經理等，實現真正的精準營銷。

總體來說，金融現有的業務需要把數據的有效分析和靈活應用到金融體系中去，而非空談大數據應用。

那在大數據業務分析、內容安全審計和業務應用可視化的應用中，面臨最核心問題，那就是如何把業務流量正確、按需的方式傳遞給所需的數據分析系統。筆者認為需要專業的業務流數據管理系統才能夠精準的識別、分類和分發傳遞。

比如很多運維日志數據是通過UDP 514傳遞的，那日志服務器不需要接受其他內容，針對性采集即可。如交易或征信業務只需要采集數據庫的Mysql TCP 3306 和Oracle TCP 1521端口往返數據，那分析系統也可降低性能負載，摘取所需數據是當前數據分析的必要措施。

另外不得不說的是流量不少是無用的數據載荷。而常見的分析系統平臺大多為千兆速率，那么網絡單接口流量在萬兆或更高流量時候，是增強系統分析系統的硬件配置還是通過數據裁剪方式來部署，那選擇顯而易見是裁剪優化而不是升級分析平臺的硬件平臺，因為那將是更高昂的硬件攤銷成本。

比如交易數據或征信數據等，可以進行剝離掉幀頭幀尾和部分封裝協議。數據分析服務器(比如性能分析類)吞吐量較低，無法承載大流量分析能力，需要將分發流量進行載荷截短，降低數據流量帶寬，提升服務器分析效率。

金融大數據采集分析應用建議使用專業分流技術

上述的金融業務可視化分析以及IT系統環境運維過程中問題，是我們常見的數據采集、歸類、提取再分發分析的技術需求和環境。

因此在金融大數據識別、分類采集、分發存儲等應用方面建議使用專業數據分流技術，因為其系統的精細化數據流管理功能為相關業務應用提供專業能力的保障，而這個數據分流應用并已在諸多的行業的運維和業務應用可視化領域成熟應用。