當證券行業遇到大數據：一站式方案或受歡迎

有人說從網格計算、云計算到大數據，猶如一場IT價值實現的進化論。在IT發展史中，如果某種技術不能夠很好地商業化和市場化，那么該項技術再出色 也不能獲得很大的市場認可和成功。今天，大數據比以往任何一項IT技術都獲得了廣泛的市場認可，并且逐漸走向商業化之路。大數據現在不僅僅是IT行業的一個炒作概念，更像是一場探尋和挖掘數據價值的運動，與各行各業有著越來越緊密的聯系。 在美國，奧巴馬政府已經開始重視大數據及其相關價值，將大數據上升為國家意志，政府投資2億美金啟動了“大數據研究和發展計劃”，希望增強收集海量 數據、分析萃取信息的能力。

在政府層面的支持和帶頭，能夠促使各種不同行業對于大數據的認識和加快行動。我國的經濟總量位居世界前列，GDP全球第二，且 具有世界上最多的人口，隨著信息化日漸融入我國國民的日常生活，大數據和挖掘數據價值也已經成為一項非常值得探索的領域。目前，國內除了互聯網、電信等行 業在大數據領域被看好之外，證券行業同樣被認為在大數據應用前景廣闊，且國內已經有一些券商開始試水大數據應用。大數據對于用戶IT環境頗有“牽一發而動 全身”的味道，在基礎架構、數據安全、數據分析等多個方面都需要全方位的準備。對于證券行業來說，又該在基礎架構、數據安全、數據分析、業務模式等方面如 何做好充分準備？ 

前景廣闊、意義非凡 

對于當今的企業而言，數據就是一種重要的戰略資產，它就像新時代的石油一樣，極富開采價值。如果能夠看清大數據的價值并且迅速行動起來，那么在未來 的商業競爭中占據會占得先機。大數據一個顯著特點就是打破了企業傳統數據的邊界，改變了過去商業智能僅僅依靠企業內部業務數據的局面，其背后蘊含的商業價 值不可低估。 過去傳統的商業智能局限在分析企業信息系統自身產生出來業務數據，這些數據大部分為數據庫等結構化數據，而隨著非結構化數據成為企業數據的主力軍， 傳統商業智能的方式方法顯然已經落伍。

大數據分析是基于構化和非結構化數據的總和，在數據分析的全面性上是傳統商業智能所不能比擬的，這意味著通過分析結 構能夠提供給企業更加全面和準確的商業洞察力。 在過去幾年，我們也發現證券行業正在發生著劇烈的變化?；ヂ摼W的廣泛普及、社交網絡化的深入人心、移動互聯網的快速崛起，使得證券行業在大數據時代 充滿了挑戰的同時，也看到一個前景廣闊的未來。

此時，誰敢勇于擁抱大數據，誰就將在未來的競爭中占據有利位置。IDC就在其大數據相關報告中著重闡述了大 數據的商業價值：行業領導企業與其他企業有著本質的區別，行業領導企業會積極將新的數據類型引入到數據分析之中，為商業決策做出更加準確的判斷，那些沒引 入新的分析技術和新的數據類型的企業在未來是不可能成為行業領導者。 

目前，國外已經有一些金融機構將數據分析與社交網絡進行結合，通過大數據分析來預測未來某些金融現象。2011年，英國對沖基金Derwent Capital Markets建立了規模為4000萬美金的對沖基金，該基金是首家基于社交網絡的對沖基金，該基金通過對Twitter的數據內容來感知市場情緒，從而 進行投資。無獨有偶，通過分析Twitter用戶對股票的敏感度以及市場情緒也成為科學機構的研究對象，2012年年初，美國加州大學河濱分校公布了一項 通過對Twitter消息進行分析從而預測股票漲跌的研究報告。

圖一：英國對沖基金Derwent Capital Markets通過分析Twitter數據來預測股市的波動，該應用為典型的大數據應用，通過實時分析數據來獲得更為準確的投資趨勢。圖中紅線代表 Tweets中“平靜”數值；藍線表示3天后的道指變化。在這兩條線段重合的部分，“平靜”指數預測了3天后道指收盤指數，從圖中我們可以發現紅、藍兩線 經常走勢相近。 證券行業資深IT專家顏陽博士就表示：“企業數據就是新時代還未開采的石油，具有非常之高的價值。國外一些金融機構已經開始做一些前瞻性的研究，這 種做法是非常值得學習和借鑒的。比如國內已經有一些券商開始研究互聯網、微博與股市的關系，通過輿情分析現有的業務與數據研究上市公司的走勢?！?中國惠普專家也表示：“隨著Facebook、Twitter、Youtube這些Web2.0技術的飛速發展，全世界都意識到大數據的重要性?？?以說證券行業是建立在IT系統的基礎之上的，隨著互聯網的發展，特別是移動互聯網、社交網絡的快速普及，券商如果僅僅滿足提供網上或手機炒股這種服務是遠 遠不夠的，作為擁有大量優質數據的券商行業用戶其實具有非常好的條件來擁抱大數據，通過大數據來挖掘出更多有價值的信息和提供更加優質的服務?！?nbsp;

基礎架構不能忽視

 毫無疑問的是，大數據需要有優秀的數據分析工具和人才，但僅僅擁有諸如Hadoop、NoSQL等方面的軟件或者專業人士是遠遠不夠的。甚至，現在 有些用戶本末倒置，過分強調或寄希望于大數據分析軟件。追本溯源，如果一套好的大數據分析軟件架構沒有一個強有力的基礎架構做支撐，那么用戶也不能夠充分 發揮出大數據挖掘潛力。而且，我們需要面對的是一個充滿著結構化、半結構化、非結構化數據的復雜數據環境，這個全新數據環境正在對我們的基礎架構帶來深遠 的變革和影響?！?/span>

圖二：全球知名調研機構IDC公司 對全球數據增長以及數據類型分布情況的調研與預測。相對于傳統的結構化數據，非結構化數據、內容數據的增長迅速，這也使得用戶的數據環境變得日趨復雜，給用戶的IT基礎架構建設帶來巨大影響。 

大數據具有數據量特別龐大、數據種類特別復雜、處理速度要求快等特點，這些特點就決定了用戶需要有著非常健壯的IT基礎架構，并且值得關注的是，大 數據帶動了企業將更多IT精力投入到數據分析這個層面，這也從側面決定了起到支撐作用的IT基礎架構需要具備更加出色的性能、更加良好的擴展性以及更加出 色靈活性，只有在靈活性、可靠性、高性能等方面有保障，才能夠發揮出數據分析環境的潛能。從某種程度而言，大數據其實將吸納進更多IT新技術到企業中，是 企業IT環境變得更加復雜，對IT基礎架構也提出了更高的要求。中國惠普專家則表示：“大數據時代需要用戶花費更多精力和人力去關注像虛擬化、 Hadoop、并行分析數據庫、內存數據庫、半結構化/非結構化數據搜索技術等。在IT資源有限的情況下，IT基礎架構的建設和維護必須要可以輕松完成， 這樣才能夠花費更多精力和人員到數據分析上?！?nbsp;

對于證券行業而言，過去可能僅僅需要處理交易性數據，現在則需要快速處理來自各種社交網絡的半結構化或非結構化數據；過去可能僅僅備份容量較少的結 構化數據，現在則需要應對海量數據的存儲與移動；過去可能僅僅只需要單一類型IO的處理能力，現在則需要高的混合IO處理能力……這系列的變化使得券商在 服務器、存儲和網絡等基礎架構環境都需要重新審視自身的基礎建構是否合理和是否具有前瞻性。證券行業資深IT專家顏陽博士就表示：“國內有前瞻意識的券商 已經在一些轉型，逐漸開始涉足一些非結構化或半結構化數據的處理?！?/span>

 另外一個不容忽視的趨勢是大數據是在云計算基礎之上的數據分析與價值挖掘，開放平臺是云計算到大數據一直貫穿始終的主旋律，開放的軟硬件平臺成為大 數據的不二選擇。像X86基礎架構具有天然的開放性、良好的擴展性、出色的性能以及可靠性，這些特點與大數據在基礎架構上的需求天然契合。IDC中國企業 級系統與軟件研究部高級研究經理周震剛就表示：“大數據會推動基礎架構向Scale-Out架構發展。與傳統數據處理方式不同，大數據由于在數據量上非常 龐大、數據類型比較復雜，使得大數據處理需要的是多節點、多CPU處理的方式，這意味著大數據時代發展方向是從Scale-Up想Scale-Out發 展?！?/span>

圖三：大數據的特點。 中國惠普專家也表示：“通過惠普對證券行業多年的深入了解，證券行業用戶在大數據時代需要更加易用的基礎架構，以此保證有更多資源放在數據分析工 作；建議采用開放的架構和技術，比如工業標準服務器、虛擬化、Hadoop等技術，因為開放架構和技術在基礎架構的靈活性、擴展性、管理性以及成本上都有 著長期優勢；同時，建議采用軟硬件組合放來來縮短系統建設周期、降低基礎架構維護時間和成本。 

行業用戶：一站式大數據方案前景如何？ 

大數據處理技術層面上具有數據量特別龐大、數據種類特別復雜、處理速度要求快等鮮明特點之外，其實也帶有著濃厚的行業背景。每個行業在自身的數據類 型特點、業務處理模式、應用類型特點等都千差萬別，這是由自身行業背景所決定的，基于石油行業的大數據解決方案定然不會適合金融證券行業領域。

圖四：全球知名咨詢機構麥肯錫對美國不同行業的大數據相關業務特性做出的統計，每個行業在整體價值潛 力、數據量、波動性、供銷伙伴數量、交易密度、行業波動性都有著區別，金融證券行業在整體價值潛力、數量量、績效波動性、交易密度上都名列前茅，這意味著 金融證券行業的大數據解決方案需要更加關注這些方面。 我們會發現當前在大數據領域有著較為深入應用的都是互聯網或者電信行業，這些行業用戶對自身業務了解較深、且具有強大的IT團隊和IT開發能力，使 得自身的大數據方案上有著更多靈活的選擇。

事實上，很多行業在IT團隊和IT能力上并不能像互聯網或電信行業那樣，很多大數據所有工作都由自身團隊來完 成。正是出于這種現實情況，目前很多廠商包括惠普、EMC、IBM、Oracle也相應推出了針對不同行業的一站式打包整體解決方案，來滿足很多沒有較強 IT能力的行業用戶在大數據方面的需求。 從本質上來看，企業用戶在商業決策中需要的是一個包含了靈活可靠的基礎架構、功能強大的數據分析能力與經驗豐富的行業分析能力的大數據綜合性解決方 案，僅僅依靠幾套開源軟件和設備是不能滿足企業在商業決策上的長久需求。

IDC中國企業級系統與軟件研究部高級研究經理周震剛就表示：“從傳統概念來講， 大數據非常復雜，無法形成打包好的分析應用解決方案。不過在未來幾年中，某個行業的應用會形成一個共性，廠商們會基于這個共性打包出一些大數據的解決方案 推向這些行業用戶?！?惠普中國專家也表示：“一個開放、靈活、強大、即買即用的大數據解決方案是行業用戶所需要的。一站式或者說打包的大數據解決方案一定會是未來的趨 勢，打包性的方案會讓行業用戶將更多精力放在數據分析以及數據價值挖掘上，從而真正讓IT部門從一個附屬部門變成價值生產部門?；萜盏拇髷祿虬桨赴?了最優秀的軟硬件產品、開放式架構以及惠普在大數據領域的經驗和實踐?！?/span>

 對于證券行業用戶而言，受到市場周期、交易波動影響較大，經過長期的IT建設，有著一定規模的IT團隊和IT能力，但受制于各種因素，在大數據解決 方案方面，不可能完全依靠自身的IT團隊就能夠有效構建出符合自身公司的方案。一站式或者打包的大數據解決方案如果能夠具有性能出色、擴展靈活的硬件架 構、廠商能夠在打包方案中對軟硬件進行底層優化之外，保持整個方案的開放性和易維護性，使得證券行業用戶能夠自主后續開發，那對于證券行業的用戶而言不失 為一種最佳選擇。