大數據時代對傳統數據倉庫的五點思考

在文思海輝金融商業智能解決方案研討會上文思海輝副總裁賈丕星表示，文思海輝的商業智能團隊已經發展到452人的規模，并且隨著國內銀行商業智能領域發展，還在逐步完善解決方案和擴大團隊。

　　賈丕星指出，現階段銀行商業體系是基石，把數據做有效的存儲，以及好的管理，未來商業智能領域會發展的很好。未來三五年之內這仍然是文思海輝解決方案的核心。

　　“小數據和大數據在銀行業里更多是互為補充而不是替代。小數據比較簡單，有比較成熟的技術應對。大數據更多的是理念優先，其一個典型特征是價值密度較低，這也是大數據帶來的思考?！?/span>

　　賈丕星認為，銀行思考大數據更多的需要考慮你具備什么條件讓客戶產生的大數據自動的流向銀行。文思海輝在大數據領域仍然保持和合作伙伴廠商緊密接觸。像IBM、BMC、Oracle每一家對大數據的理解其實是有差異的，而且差異非常大。

　　賈丕星指出了大數據時代針對傳統數據倉庫的思考，其中包括不要因為大數據擾亂我們的原則、規劃、節奏;技術和平臺已經不是我們關注的重點;原則和架構在“以不變應萬變”中顯得尤為重要;正確的方法論、管控的水平決定了質量;引導客戶主動的“分析探索”是永恒的話題;

　　以下為演講實錄：

　　大家知道文思和海輝是去年年底合并的，從集團研發對我們支持角度來說：第一點祥麟給了我們一個很好的技術規劃體系。第二個是智慧金融這個概念，把所有金融事業群解決方案有效整合在一起。形成應對未來銀行業務發展很好的體系。從這兩個角度來說，給了整個商業智能部這邊很大的支持。

　　今天我講的是數據倉庫的概念。我們這個團隊跟大家認識都是從數據倉庫這個角度跟大家相識的。我們這個團隊一直被認為是業內做商業智能做的比較久，相對來說比較專業的團隊。每年我基本都講第一場，對我來說也是一個很大的挑戰。每年都想講一點我這一年多的新的體會和感受跟大家分享。今天講什么呢？前段時間我在外面講的更多的是從小數據角度看大數據，大數據現在提的越來越多，小數據從另外一個角度理解它，它種類比較單一但是業務種類并不單一;第二它量比較小，大數據量可以很大。

　　大數據的年代里，真正的數據倉庫應該如何規劃建設？我們今年也有自己更多的思考和體會。講這個之前，我還是把團隊的情況給大家做一個簡單回顧。在各位新老客戶支持下，我們商業智能團隊從去年300多人，現在已經發展到452人的規模。我們跟隨著國內銀行商業智能領域發展，在逐步完善我們的解決方案和擴大我們的團隊。我們團隊主要分布在華東、華北、華南三個區域。跟隨著客戶在成長，我們有越來越多的新的解決方案和原有解決方案的優化在不斷的推出。

　　我們傳統的優勢就是數據倉庫和數據管控，這兩個方面會放在今天上午跟大家分享?，F階段銀行商業智能體系的基石，還是把數據做有效的存儲和更好的管理，這個領域未來三五年之內這仍然是我們解決方案的核心。

　　團隊為什么會有所成長？跟我們自己承接了更多的項目有關。在過去兩年，所有業內資產排名前20位銀行里，新啟動五個數據倉庫都是由我們團隊承接的。正是有這樣好的項目機會讓你的團隊有成長，解決方案不斷的優化。

　　我今天既看到了特別支持我們的長期的老客戶，也看到我們未來有合作機會的新客戶。這是我們近期拿下來的國內一個大型股份制銀行的數據架構規劃和數據倉庫規劃咨詢項目。這個項目有很大的挑戰，客戶需要對他們管理信息類的系統進行全面的梳理，我們也對過去5年我們的積累進行總結，這是很好的結合。數據倉庫只靠一個EDW發揮不了太多的作用，更多的是規劃的角度，圍繞從數據的產生、交換、存儲、使用，由數據轉成業務價值的全過程。這個是我們更愿意看到的東西。我們不希望大家理解的BI僅僅是一個平臺，存儲了企業里面有效、無效所有的信息，這個沒意思。有意思是的通過價值體系的打造讓它更好的發揮價值。

　　說到這點，結合今天題目去談，就是小數據和大數據的概念。我從不覺得大數據是新的有震撼力的東西，但是它確實給我們帶來了轉變。我個人理解它們兩個沒有什么所謂替代形成，特別是銀行業里面，更多的是互為補充。

　　從另外一個角度來講，小數據比較簡單，有比較成熟的技術應對它。大數據是多種類型數據的組成，需要使用多種技術對待它。比如說圖像、視頻、文檔。每一個識別和監測它的手段和方法是不一樣的。另外大數據更多的是理念優先，它在銀行里到底能發揮什么價值？另外大數據我們會說它一個比較典型的特征，它的價值密度很低。那么反回來思考，把大量數據存下來再去做統計分析有意義和價值嗎？還是通過實時處理的技術把沒價值的東西篩掉，再利用有價值的做結構化的關聯分析？這就是大數據給我們帶來的思考。

　　銀行思考大數據，更多的需要考慮你具備什么條件讓客戶產生的大數據自動的流向銀行？銀行獲取大數據方式可能跟傳統的物聯網行業不太一樣。銀行對待大數據的時候更多的考慮是銀行有什么類型的大數據？從銀行統計應用角度來說有什么價值？我們是實施商，我們在大數據領域仍然保持跟我們的合作伙伴廠商的緊密接觸。我們從去年和前年就開始跟我們合作緊密的像IBM、BMC、Oracle的大數據廠商進行緊密的溝通和跟進。我們看怎么更他們更好的結合去為銀行提供更好的服務。但是我們發現每家廠商對大數據的解讀其實是有差異的。 比如說EMC的HAWQ技術路線適合銀行嗎？因為我們知道HDFS底層數據存儲和關系數據的底層數據有本質的區別。但是它有它的應用場景，比如互聯網和電商類。Teradata的大數據技術路線中重點突出基于MR的Aster，它可能也只是適合一定的場景。所以讓我們看到一個特點是百花齊放，大家各有各的發展思路。在原有的基礎上在怎么更好的綁定客戶，每家策略不一樣。 但是銀行一定要選擇適合自己的。

　　銀行大數據在典型應用場景分析有哪些呢，無非就是三種類型：外部互聯網信息、輿情分析;是銀行確實能夠通過各種手段找到外部的一些信息，互聯網的評價、社交媒體和論壇里面的發言，它關注到銀行或者關注到了銀行客戶。這種信息是一種非嚴謹的獲取方式，也是一種特別嚴謹的決策分析的補充。

　　銀行自身非結構化數據信息：就是銀行自身有大量非結構化信息體現在網銀和呼叫中心的語音，這些信息是不是大規模的做分析？我建議的方式是嘗試。因為傳統結構化數據或者分析技術并沒有讓你在業務決策分析里面發揮到極至。我們一定要做更多的嘗試，引導我們去體驗大數據的場景。銀行自身結構化數據歷史歸檔和查詢訪問。這三個方面是我們跟銀行探討更多的，大數據在銀行的應用場景。