“大數據”是指大小超出了傳統數據庫軟件工具的抓取、存儲、管理和分析能力的數據群。大數據的迅速發展引起了全球各政府、商業機構和學術界的廣泛關注。在中國，互聯網企業、金融界迅速跟進，進行了包括開源構架為代表Hadoop的全新升級，在經過2013年的硬件、軟件和技術的升級，大數據從概念走向了應用。
　　小數據并不是指數據量小，而是根據客戶的特定需求，有針對性地找出能夠給客戶提供決策支持的客觀依據，從而達到服務客戶的目的，它的存在對于促進經濟社會的發展、更加準確的滿足客戶需求具有非常重要的作用。小數據分析和大數據分析所需要的技能并不相同，側重點也有所不同，由于小數據涉及的是數據的深度，分析人員需要具備某一方面的專業技術知識。
　　小數據作為數據時代的重要組成部分，在證券公司的未來發展中將起到舉足輕重的作用。證券公司可以充分利用數據資源，在做好大數據的基礎上，提取出具有鮮明特征且有價值的小數據，挖掘其中蘊含的客戶信息及交易信息，獲取有價值的客戶信息，幫助證券公司降低運營成本、提高運行效率、并及時調整公司定位?！　?br /> 　　隨著信息技術、移動互聯網技術和物聯網技術的快速發展，當今社會已悄然邁入大數據時代。在大數據時代，人們面臨的挑戰不僅來自技術環節，還有生活方式、工作方式，甚至思維方式問題。對證券金融業來說，這種挑戰現在正變得更直接、更嚴峻。如何應對挑戰呢？除了更新知識、更新思維、更新工作方法外，還要找到大數據環境下的小數據應對策略。如此，方能把握主動，成為贏家。
　　大數據與證券公司個性化服務
　　為了適應當前國民經濟持續健康發展的需求和多層次資本市場的需求，證券公司作為金融中介的職能在信息技術的沖擊下將有所改變。在大數據背景下，證券公司將有能力快速收集傳導大量的高質量信息，以設計出符合客戶需求的產品組合，并不斷根據客戶偏好的改變而調整。
　　大數據在加強風險管控、精細化管理、服務創新等轉型中別具現實意義，是實現向信息化券商轉型的重要推動力。大數據能夠加強風險的可審性和管理力度，在“普惠金融”的要求下，證券公司可以利用互聯網金融思維，將股權眾籌模式引入券商業務之中，股權眾籌與新三板市場的結合可以很好的解決小微企業貸款的風險管理問題，而大數據技術是解決上述問題風險控制的利器之一。
　　此外，大數據在證券公司客戶服務方面別具風格，能夠實現客戶的精細化管理。當前中國證券業以客戶為中心的管理改革已經起步，在以“以客戶為中心”理念的指導下，通過對客戶消費行為模式進行分析，提高客戶轉化率，開發出不同的產品以滿足不同客戶的市場需求，實現精細化管理和差異化競爭。
　　在過去幾年里，越來越多的證券公司在采用數據驅動的方法來進行有針對性的服務來降低風險和提高業績。他們執行特殊的數據分析程序來對一系列的資料進行收集、存儲、管理和分析大數據集，識別關鍵業務觀察，以便給客戶提供更好的決策?？衫玫慕鹑跀祿窗ü善眱r格、外匯和衍生品交易、交易記錄、高頻交易、無結構化新聞和文本、以及隱含在社會媒體和網絡中的消費者信心和商業情緒等。
　　大數據特點與安全問題和應用進展
　　1.大數據的特點
　　大數據是從線上線下資源中收集到的大量商業信息，這些信息包括網站、社會網絡、手機Apps,軟件、文件、電腦記錄、傳感網絡等信息，越來越多的企業從數據的分析中獲利，對大數據的分析正在幫助各種企業快速成長。然而，海量數據的爆炸，最大意義上不在于其數量，而在于大數據能夠幫助企業做什么。不少大公司目前僅能從他們所擁有的海量數據的初級數據分析中獲利。
　　提到大數據，人們經常用海量化(Volume)、多樣化(Variety)、快速化(Velocity)來描述大數據，常把它想像成高風險、耗資巨大、運行耗時多的IT投資。數據容量增長的速度大大超過了硬件技術的發展速度，引發了數據存儲和數據處理的危機。結構化數據、非結構化數據以及多結構化數據的數據構成，對傳統的數據分析處理算法和軟件提出了挑戰。
　　同時，為了能及時把握市場動態，快速制定出合理準確的生產、運營、營銷策略，進而提高企業的核心競爭力，對大數據的快速處理分析，將為企業實時洞察市場變化、把握市場先機提供決策支持。但大數據的好處來源于它的驅動價值(Value)，應用算法和預測模型來解決具體的商業問題，使得“數據價值化”成為企業提供競爭力的下一個關鍵點。
　　事實上，商業效益隱含于所有數據中，數據量的大小并不是最關鍵的。無論是擁有大數據還是客戶的簡單交易數據，所關心的是想得到的商業結果以及如何分析這些數據。
　　2.大數據的安全問題
　　移動通信、移動互聯網和物聯網的快速發展帶來了海量的數據，它一方面使得社會更加民主化、使得人們之間的交往更加社會化，并能使長久失去聯系的親朋好友通過當前的信息技術取得聯系。但另一方面，進入信息時代，為了爭奪和保全企業的核心數據，各類竊聽門事件陸續爆發和被揭露。員工的隱私、公司的機密等一系列數據安全的關鍵詞不斷被提起。
　　互聯網在帶來便利的同時也使得隱私更加透明化，而此時的大數據正是一個時刻關注人們成長的“老大哥”，個人在享受了大數據時代帶來便利的同時，也有信息遭到侵犯的隱憂。相關立法者應該采取有效措施，使得“老大哥”僅僅在自己所屬的框架下活動，避免其變成不被邀請且不受歡迎的餐桌上的人。
　　3.證券公司積極備戰大數據
　　大數據時代的到來，很多證券公司都開始厲兵秣馬，一些公司已經開始搭建大數據平臺。對于證券公司而言，如何快速的整合公司內外部海量數據資源，通過數據挖掘、數據管理和數據分析的手段，為公司在風險控制、業務創新、和客戶的精細化管理方面提供決策依據，幫助公司在高頻交易、小額信貸、精準營銷等領域加速推進。同時實時和非實時的計算分析能力，為企業提供全周期的低成本高性能的商業智能平臺支持。
　　一個公司在進行大數據的分析中，需要投資許多服務器，為了得到不同的數據，需要使用復雜的分析機器和數據挖掘應用軟件來搜索網絡，這些數據包括客戶投資及交易行為的分析、潛在客戶及流失客戶的信息等。所有這些數據進入一個中心數據倉庫，在數據倉庫里，利用復雜的算法進行分類和處理，并將它們詳細的展示出來。圖1給出了大數據的技術架構圖，給出了從數據采集、數據分析到數據解釋的路線，對證券公司建立技術結構具有一定的借鑒作用。
　　4.當前大數據應用所面臨的困難
　　大數據的前景是誘人的，但如果想利用大數據來為企業做實實在在的事情卻面臨很多困難。首先大型證券公司為了實現內部資源共享、提升整體數據管理效率，往往會部署多個數據中心。一般需要部署分布式云數據中心，實現數據中心即時服務，從而提升IT服務質量和多個數據中心的整體IT利用率。而分布式云數據中心又包括私有云、公有云和災備。隨著產生越來越復雜數據流的設備和交易的增長，有效地利用企業現有數據是未來競爭的優勢之一。
　　大數據的上述應用使得企業從不同的方面獲利，但不少證券公司發現這些設備和軟件需要耗費大量的財力物力，在大數據方面的人才儲備方面也明顯不足。尤其是中小證券公司，面對昂貴的機器和先進的技術手段因為財力物力人力的差距望而卻步。對于證券公司的很多實際問題來說，小數據是足夠的，中小券商可以在暫時各方面條件受限的條件下分析小數據，從小數據的分析中獲利。
　　小數據的來源、特點及應用
　　1.小數據的來源
　　小數據的概念最初是康奈爾大學計算機科學教授Deborah Estrin提出的。她的研究發現來源于年邁父親的細微變化，她從父親2013年去世前幾個月的數字社會脈動中看到了信號的異?！赣H停止了發送電子郵件，去超市購物的次數逐漸減少，在附近散步的距離越來越短。然而這些細微的異常變化卻沒能顯示在醫生的心電圖中，心電圖顯示健康狀況正常。這啟發Estrin開始研究小數據，從日常生活的小數據中尋找異常之處，把它當作一種新的醫學證據。
　　小數據并不是指數據量小，而是根據客戶的特定需求，有針對性地找出能夠給客戶提供決策支持的客觀依據，從而達到服務客戶的目的，它的存在對于促進經濟社會的發展、更加準確的滿足客戶需求具有非常重要的作用。
　　2.小數據的特點
　　小數據是在數量和格式方面易收集的、易處理、易操作的數據。與大數據類似，目前對小數據的概念還沒有明確的定義，一般可以認為，小數據具有及時、有用、可組織、可包裝和可視化的特點，對于使用者來說，小數據具有易收集、易理解和易操作的特點。
　　小數據的合理利用將眾多企業從需要最新最先進技術來支持復雜商業過程的困惑中解脫出來，小數據利用的提升，使得企業可以高效地利用他們的現有資源，從而避免了購買大數據處理機器所帶來的財力超支。小數據的數據分析在深度上比大數據更勝一籌，能提供比大數據更精確的信息。小數據的發展方興未艾，可以預料，未來將是小數據發展的一個大機遇。
　　3.小數據的應用
　　客戶關系管理系統是小數據應用的首要選擇?？蛻絷P系管理是企業用來管理他們當前客戶和潛在客戶的系統，該系統為企業提供了中心化存儲、查看和組織客戶信息的場所，能夠有效地幫助銷售人員更高效地進行銷售。
　　客戶關系管理不僅能夠幫助銷售人員完成銷售任務，而且能增加客戶的忠誠度和滿意度，讓中小企業更加有利可圖。通過對客戶關系管理數據的分析，可以分析出決策者如何制定合適的方案、告知企業能夠獲取最高潛在收益的方向所在，使得企業能在短期內重點突出化，可以說，對企業客戶關系管理數據的分析，可以使得企業能更好地理解客戶、與客戶建立良好的關系。
　　舉例而言，客戶打電話購買企業的產品或想得到企業的技術支持，如果第一次沒能解決，第二次接電話的雇員不同于第一次的雇員，客戶一般需要重新將他們的問題敘述一遍，這降低了客戶體驗。如果通過客戶關系管理，將客戶第一次的需求進行存儲，使得雇員每次能夠傳遞始終如一的、高質量的服務，他們能與當前或將來的客戶接洽，在此過程中能夠鞏固客戶關系和增強客戶忠誠度。這樣就能實現企業數據的無縫對接，實現客戶和雇員的實時全貌觀。
　　4.小數據的安全問題
　　相對于大數據對隱私的無止境侵犯，小數據在保護客戶隱私方面占據主動，能夠很好地解決大數據在個人隱私方面的暴露。由于小數據對內是客戶個人數據的集合，而任何對外的數據輸出，都可以通過預先設定的授權程序給定，對于企業而言，只要在企業內部控制好對于客戶數據分析的授權，就可以有效地保護客戶的隱私。
　　大數據與小數據的區別與聯系
　　大數據通常指千兆字節和艾字節度量的結構化和非結構化數據的組合，其海量化、多樣化和快速化的特點使得大數據非常難以掌控。大數據可以通過發現客戶行為的隱含模式，來預測總統大選、預測世界杯比賽的結果等。而小數據的想法則是在沒有商業所需要的大數據分析所常用的各種系統的情況下，達到能操作的結果。表1列出了大數據和小數據在數據類型等多個層面上的區別。
　　在進行大數據的分析和處理中，從開始使用到最終產生效益需要耗費大量的時間和財力，特別是需要大數據在線分析來達到目標和傳遞個性化體驗的情況下，這在一定程度上造成大數據的應用成本偏高且特別難以推廣。在這種情況下，如果能做好小數據的處理和分析，企業同樣能夠獲得利潤。
　　當然，在財力、人力和物力運行的情況下，能夠兼顧大數據和小數據的分析，做到數據的優勢互補，則能夠創造更多的利潤。圖2給出了大數據和小數據在數據量方面及效率對比圖，可以看出，在中間重疊的區域，大數據和小數據的分析功效難分伯仲。如果能做到大數據和小數據的優勢互補，對企業數據的分析是最好的選擇。
　　小數據在證券公司的應用
　　1.小數據在經紀業務方面的應用
　　不同于大數據，小數據是現成的可以利用的資源，證券公司可以通過網絡媒體了解客戶投資需求和偏好、他們對于某投資行業的看法等，通過分析客戶的反饋，提高企業的服務質量，還可以通過互聯網信息來分段和精選客戶。
　　傳統意義上，證券公司通過降低傭金來挽留客戶，但最終往往得到一批無效客戶，并引起了行業的惡性競爭，將嚴重損害公司利益和行業形象，2014年初的零傭金已引起證監會[微博]的緊急叫停。
　　通過對客戶的分析可以得知，資金量大的客戶換手率不一定高，而真正換手率高的客戶通常會有很多個性化需求。中小證券公司在有限的市場和銷售資源的條件下，可以利用智能過濾和分段工具找到最佳客戶。通過對客戶投資類型的分析，為客戶提供量身訂制的服務，一方面可以增加客戶的滿意度和忠誠度，另一方面可以提高證券公司的效益。
　　在互聯網金融和信息技術的沖擊下，證券公司作為金融中介的職能將有所改變。證券公司未來的經營模式將以通道為基礎，服務與交易相融合的經營模式將成為主流。擺脫傳統依靠收取交易傭金的方式，實現業務多樣化，是公司尋求業務轉型發展的必然選擇。任何差異化的業務服務創新均有賴于對客戶信息的了解，券商可以充分對公司現有進行有效客戶關系管理，通過數據模型對現有客戶交易數據、客戶服務數據、行情數據、金融資訊等進行分析，同時對潛在客戶的數據、用戶行為記錄產生的數據進行深度挖掘。
　　2.小數據在營銷服務方面的應用
　　營銷服務方面，針對產品、服務、客戶洞察的精細化和個性化，證券公司可以從客戶出發，從客戶數據著手挖掘核心信息，從數據中提取客戶價值等核心信息，并對核心信息進行細分，再做精準營銷、個性化的處理，然后再針對客戶營銷策劃和營銷行動。券商可以從服務渠道優先、交易渠道優先、關懷活動優先等方面入手，研究細分群體的潛在投資偏好和需求，打包服務產品，組裝成套餐，提供不同細分客戶群體的解決方案。
　　一般而言，以客戶為中心和公司利潤增長是一對矛盾體，要以客戶為中心，就需要改變以產品為中心的模式，做到信息披露公開，舍棄將“不透明的口袋”作為收入和利潤來源的模式，積極應對因此而造成的利潤下降的壓力。在這一過程中，對客戶數據分析這一技術的變革將是成功的重要因素。
　　通過建立潛在客戶識別模型和新增客戶質量評估模型識別出公司的潛在客戶，通過建立客戶渠道偏好模型、客戶購買傾向預測模型、客戶投資能力評價模型、產品關聯分析模型、客戶滿意度評價模型和客戶忠誠度評價模型等提高客戶的黏性和忠誠度，通過建立客戶流失預警模型、沉默客戶盤活模型和核心客戶保有模型等有效防止客戶的流失。
　　通過這些服務，可以改善公司的服務，提高客戶滿意度，同時提高員工的生產能力，進而提高公司的競爭力，達到獲取利潤的目的，有效地解決了以客戶為中心和公司利潤增長的矛盾。
　　3.在量化投資方面的應用
　　小數據在量化投資方面顯示出數據挖掘的深度。以個股期權隱含波動率為例說明小數據在量化投資方面的應用。波動率是衡量金融產品在某一時間段內價格變動程度的數值，也是衡量市場變動速度的數值。自從2013年12月份個股期權模擬測試以來，證券公司和投資者都對個股期權正式上線翹首以盼。
　　期權作為一種風險管理的工具，以其高杠桿性、多策略性吸引著投資者，為投資者提供了一種全新而又高效的風險管理手段。在運用期權定價模型對衍生品進行定價時，在決定期權價格的幾大因素如標的物價格、到期時間、利率和股息等確定以后，只有隱含波動率是未知的。而隱含波動率是投資者對未來波動率的預測，它是市場價格的真實映射。
　　作為投資者信息的集散地，金融市場中每天的交易數據反映了供求雙方從歷史數據和最新資訊中獲取各種信息后形成的預期，包含了信息容量最大和最可靠的事前預測信息，此時根據研究的需要，選取不同時間的交易數據信息構成時間序列，從而預測出隱含波動率。這種利用歷史數據進行期權價格計算和預測的方法，是金融量化投資的一個縮影，顯示了小數據在預測和定價方面的良好效果。
　　小數據在證券公司的未來發展
　　1.小數據的未來趨勢
　　通過數據分析提供銷售水平和服務質量，是證券公司未來發展的重要手段。目前國內對于小數據的分析和利用仍然處于低級階段。對小數據的分析和應用大致可以分為三個層次。
　　第一層次是對現有數據的全面分析，其中涉及模型建立、各類數據在模型中的占比等。目前大部分證券公司對數據的利用處于這一層次。
　　第二層次是對數據變量的全面把握，能夠利用數據進行遠期預測，預測股票未來走勢、客戶資產管理的預測、客戶流失和忠誠客戶的預測等。
　　第三層次是考慮小數據的人文因素，在數據分析日臻完善的基礎上，引入社會、心理、人文等因素，能使得數據的分析結果更加準確。
　　2.小數據預測對人才的要求
　　小數據并不是數據量小，而是數據針對性強。為了使得數據分析的結果更加準確，從而做出有預測性、有價值的分析。小數據分析人員要求具備統計學、商業分析和自然語言處理能力，能夠對數學、統計學、機器學習等多方面的知識全方位的掌控。
　　對于金融行業的數據分析人員來說，需要對相關金融知識和其所涉及的數學背景有很深的理解，能夠快速進行編程計算。以個股期權為例，為了更準確地計算隱含波動率，小數據分析師需要熟悉期權定價所需要的模型如B-S模型、ARCH模型、GARCH模型等、隨機時間序列分析，還需要熟練掌握至少一門編程語言。應該說，小數據分析和大數據分析所需要的技能并不相同，側重點也有所不同，由于小數據涉及的是數據的深度，所需要的知識也更加專業一些，分析人員需要具備某一方面的專業技術知識。
　　3.小數據的大服務
　　小數據作為數據時代的重要組成部分，在證券公司的未來發展中將起到舉足輕重的作用。證券公司可以充分利用數據資源，在做好大數據的基礎上，提取出具有鮮明特征且有價值的小數據，挖掘其中蘊含的客戶信息及交易信息，獲取有價值的客戶信息，幫助證券公司降低運營成本、提高運行效率、并及時調整公司定位。除了能更好地為客戶提供量身訂制的服務，在股票推薦、融資融券、經紀業務和量化投資等方面都有較大的發展。