證券數據挖掘探索及實踐

在券商企業多年來的運營中，積累了大量投資者真實的第一手買賣金融產品數據，近年互聯網金融的發展，加速了各類運營數據的產生，也讓數據真正成為了價值的核心，數據成為了數據資產。數據資產的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行分析和挖掘，找出其中蘊含的價值，助推證券行業的業務創新、服務創新、產品創新。本文在簡要介紹數據挖掘技術的基礎上，探討了證券數據挖掘的方法論和挖掘方向，并結合華泰證券的數據挖掘實踐證明，數據分析和挖掘確能給企業的業務發展提供有益的幫助。

1.引言

證券市場是國家經濟的晴雨表，國家經濟的細微波動都會在證券市場及時地反映出來。因而證券業的經營對數據的實時性、準確性和安全性的要求都很高。在國內證券行業領域政策日趨開放的大環境下，證券業的競爭也越來越激烈。這就要求證券公司在做分析決策時不僅需要大量數據資料，更需要通過數據，發掘其運行規律和未來走勢。

數據挖掘技術在證券領域中的應用，就是將證券交易及證券活動中所產生的海量數據及時提取出來，通過清洗和變換，采用分類、聚類、關聯分析等方法發現新知識，及時為證券從業人員提供參考咨詢服務、分析客戶交易行為、掌握企業經營狀況、控制證券交易風險。從而幫助從業人員在證券交易中增強決策的智能性和前瞻性。

2.數據挖掘簡介

2.1.數據挖掘概念

數據挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。這個定義包括幾層含義：數據源必須是真實的、大量的、含噪聲的；發現的是用戶感興趣的知識；發現的知識要可接受、可理解、可運用；并不要求發現放之四海皆準的知識，僅支持特定的發現問題。這里的知識一般指規則、概念、規律及模式等。

2.2.數據挖掘建模過程

通常，數據挖掘的建模過程如圖1所示：

圖1 數據挖掘建模過程

定義挖掘目標

針對具體的數據挖掘應用需求，首先要非常清楚，本次挖掘的目標是什么？系統完成后能達到什么樣的效果？因此我們必須分析應用領域，包括應用中的各種知識和應用目標。了解相關領域的有關情況，熟悉背景知識，弄清用戶需求。要想充分發揮數據挖掘的價值，必須要對目標有一個清晰明確的定義，即決定到底想干什么。否則，很難得到正確的結果。

數據取樣

數據采集前首要考慮的問題包括：

哪些數據源可用，哪些數據與當前挖掘目標相關

如何保證取樣數據的質量

是否在足夠范圍內有代表性

數據樣本取多少合適

如何分類（訓練集、驗證集、測試集）

在明確了需要進行數據挖掘的目標后，接下來就需要從業務系統中抽取一個與挖掘目標相關的樣本數據子集。抽取數據的標準，一是相關性，二是可靠性，三是最新性。

進行數據取樣一定要嚴把質量關，在任何時候都不要忽視數據的質量，即使是從一個數據倉庫中進行 數據取樣，也不要忘記檢查其質量如何。因為數據挖掘是探索企業運作的內在規律，原始數據有誤，就很難從中探索規律性。

數據探索

當拿到一個樣本數據集后，它是否達到我們原來設想的要求，其中有沒有什么明顯的規律和趨勢，有沒有出現從未設想過的數據狀態，因素之間有什么相關性，它們可區分成怎樣一些類別，這都是要首先探索的內容。數據探索和預處理的目的是為了保證樣本數據的質量，從而為保證預測質量打下基礎。數據探索包括：異常值分析、缺失值分析、相關分析、周期性分析、樣本交叉驗證等。

預處理

采樣數據維度過大，如何進行降維處理，采用數據中的缺失值如何處理，這些都是數據預處理需要解決的問題。數據預處理主要包含如下內容：數據篩選，數據變量轉換，缺失值處理，壞數據處理，數據標準化，主成分分析，屬性選擇等。

模式發現

樣本抽取完成并經預處理后，接下來要考慮的問題是：本次建模屬于數據挖掘應用中的哪類問題（分類、聚類、關聯規則或者時序分析），選用哪種算法進行模型構建？

模型構建的前提是在樣本數據集中發現模式，比如關聯規則、分類預測、聚類分析、時序模式等。在目標進一步明確化的基礎上，我們就可以按照問題的具體要求來重新審視已經采集的數據，看它是否適合挖掘的需要。

針對挖掘目標的需要可能需要對數據進行增刪，也可能按照對整個數據挖掘過程的新認識，要組合或者新生成一些新的變量，以體現對狀態的有效的描述。在挖掘目標進一步明確，數據結構和內容進一步調整的基礎上，下一步數據挖掘應采用的技術手段就更加清晰、明確了。

模型構建

模型構建是反映的是采樣數據內部結構的一般特征，并與該采樣數據的具體結構基本吻合。對于預測模型（包括分類與回歸模型、時序預測模型）來說，模型的具體化就是預測公式，公式可以產生與觀察值有類似結構的輸出，這就是預測值。預測模型是多種多樣的，可以適用于不同結構的樣本數據。正確選擇預測模型是數據挖掘很關鍵的一步，有時由于模型選擇不當，造成預測誤差過大，就需要改換模型。必要時，可同時采用幾種預測模型進行運算以便對比、選擇。對建立模型來說，要記住最重要的就是它是一個反復的過程，需要仔細考察不同的模型以判斷哪個模型對解決問題最有效。

預測模型的構建通常包括模型建立、模型訓練、模型驗證和模型預測 4個步驟，但根據不同的數據挖掘分類應用會有細微的變化。

模型評價

評價的目的之一就是從這些模型中自動找出一個最好的模型來，另外就是要針對業務對模型進行解釋和應用。預測模型評價和聚類模型的評價方法是不同的。

預測模型對訓練集進行預測而得出的準確率并不能很好地反映分類模型未來的性能，為了能預測分類模型在新數據上的性能表現，需要一組沒有參與分類模型建立的數據集，并在該數據集上評價分類器的準確率，這組獨立的數據集就是測試集。這是一種基于驗證的評估方法，常用的方法有保持法、隨機二次抽樣、自助法、交叉驗證等。

聚類分群效果可以用向量數據之間的相似度來衡量，向量數據之間的相似度定義為兩個向量之間的距離（實時向量數據與聚類中心向量數據），距離越近則相似度越大，即該實時向量數據歸為某個聚類。

2.3.常用建模技術簡介

分類

分類指將數據映射到預先定義好的類標簽上。因為在分析測試數據之前，類別就已經確定了，所以分類通常被稱為有監督的學習。分類就是構造一個分類函數（分類模型），把具有某些特征的數據項映射到某個給定的類別上。

步驟分為兩步：1）模型創建：通過對訓練數據集的學習來建立分類模型。2）模型使用：使用分類模型對測試數據和新的數據進行分類。其中訓練數據集是帶有類標號的，也就是說在分類之前，要劃分的類別已經確定。常用分類算法有：決策樹（如 CART、ID3、ASSISTANT、C4.5），KNN 算法（K- 近鄰），NB算法（樸素貝葉斯），SVM（支持向量機），神經網絡等。

回歸

回歸：用屬性的歷史數據預測未來趨勢?；貧w首先假設一些已知類型的函數（例如線性函數、Logistic函數等）可以擬合目標數據，然后利用某種誤差分析確定一個與目標數據擬合程度最好的函數。

回歸模式的函數定義與分類模式相似，主要差別在于分類模式采用離散預測值（例如類標號），而回歸模式采用連續的預測值。在這種觀點下，分類和回歸都是預測問題，但數據挖掘業界普遍認為：用預測法預測分類標號為分類，預測連續值為預測。許多問題可以用線性回歸解決，許多非線性問題可以通過對變量進行變化，從而轉換為線性問題來解決。常用算法有：邏輯回歸，多元線性回歸模型等。

聚類

聚類分析：是在沒有給定分類的情況下，根據信息相似度進行信息聚類的一種方法，因此聚類又稱為無指導的學習。

與分類不同，分類需要先定義類別和訓練樣本，是有指導的學習。聚類就是將數據劃分或分割成相交或者不相交的群組的過程，通過確定數據之間在預先指定的屬性上的相似性，就可以完成聚類任務。

聚類的輸入是一組未被標記的數據，根據數據自身的距離或相似度進行劃分。劃分的原則是保持最大的組內相似性和最小的組間相似性，也就是使不同簇中的數據盡可能地不同，而同一類聚類中的數據盡可能相似。比如根據股票價格的波動情況，可以將股票分成不同的類，總共可以分成幾類，各類包含哪些股票，每一類的特征是什么，這對投資者，尤其是基金的人來說，可能是很重要的信息。當然，聚類除了將樣本分類外，還可以完成孤立點挖掘，如將其應用于網絡入侵檢測或金融風險欺詐探測中。常用算法有：k-means，CURE，BIRCH，DBSCAN，OPTICS，DENCLUE等。

關聯規則

關聯規則：揭示數據之間的相互關系，而這種關系沒有在數據中直接表示出來。關聯分析的主要任務就是發現事物間的關聯規則或稱相關程度。

關聯規則的一般形式是：

如果A發生，則  B有百分之 C的可能性發生。C稱為關聯規則的置信度。利用關聯分析能尋找數據庫中大量數據的相互關系。常用算法有：Apriori  算法，FP-Growth等。

時序模式

時序模式：描述基于時間或其他序列的經常發生的規律或趨勢，并對其建模。

與回歸一樣，它也用已知的數據預測未來的值，但這些數據的區別是變量所處時間的不同。序列模式將關聯模式和時間序列模式結合起來，重點考慮數據之間在時間維度上的關聯性。時序模式包含時間序列分析和序列發現。

離群點檢測

離群點：是對差異和極端特例的描述，如分類中的反常實例、聚類外的離群值、不滿足規則的特例等。

離群點檢測：用來發現與正常情況不同的異常和變化，并進一步分析這種變化有意的詐騙行為，還是正常的變化。大部分數據挖掘方法都將這種差異信息視為噪聲而丟棄，然后一些應用中，罕見的數據可能比正常的數據更有用。

3.證券數據挖掘方法論

3.1.證券數據特點

與其他領域的數據相比較，證券數據具很多特點。（1）證券數據具有多樣性，作為社會經濟系統的一部分，證券系統的數據不僅受到客戶數據、交易數據、經濟數據等的影響，而且受到網絡信息、心理行為信息的強烈影響，甚至一些主觀數據的變化也會導致證券市場的劇烈波動。（2）證券數據的關系復雜，證券市場是一個復雜系統，數據之間的關系有時很難用一個簡單的數學公式或者線性函數來表示，呈現出高度的復雜性和非線性性。（3）證券數據具有動態性，證券市場隨著時間的推移會發生劇烈變化，但仍受前期市場的影響，呈現出動態特征。

為了更好地研究證券市場，需要利用這些物理數據、網絡信息及心理行為信息，這些信息是不斷變化的，便形成一個巨大的數據倉庫。證券數據的高度復雜性，使得一般的數據建模方法在進行金融數據建模時失效，而數據挖掘方法具有靈活性、自適應性及非線性等特征，在處理證券數據時可以達到較好的應用效果。

證券行業的數據倉庫是由證券交易過程中的基礎數據（主要是數據庫數據）組成的。證券業基礎數據主要包括四部分：

業務數據

包括結算數據、過戶數據、交易系統數據。結算數據是由深圳和上海證券登記公司以交易席位為單位發布的證券公司當日資金、股份交收明細以及分紅、送股、配股等數據。過戶數據是由深圳和上海證券交易所以交易席位為單位發布的證券公司當日投資者買賣證券的過戶明細數據。結算數據和過戶數據由證券交易所通過地面和衛星網絡系統發送到證券公司。交易系統數據是證券公司最重要和最實時的數據。它由交易系統在實時交易中產生，是進行數據挖掘、客戶分析、構建CRM系統的主要基礎數據。

行情數據

行情數據是由深圳、上海證券交易所在開市期間發布的證券實時交易的成交撮合數據，是進行股市行情分析的關鍵數據。

證券文本數據

狹義的證券文本數據是指由證券交易所通過證券衛星發送的證券領域有關政策和各股資訊等實時信息。廣義的證券文本數據是指由各種傳媒方式發布的與證券相關的信息，主要包括衛星、電視、廣播、英特網、移動互聯網、書刊雜志等傳媒方式，其中，英特網和移動互聯網是涵蓋信息量最多的傳媒方式。

用戶和客戶行為數據

移動互聯網及互聯網金融的發展，使得證券服務的外延得到了很大的擴展，不但證券公司開戶的用戶能使用證券公司的服務，不在證券公司開戶的用戶也能通過多種形式如證券軟件、證券互聯網、證券移動應用等獲取證券公司提供的部分產品服務。用戶和客戶在使用這些軟件產品的過程中，會產生很多的行為數據，如瀏覽路徑、瀏覽興趣、停留時間等。

3.2.證券數據挖掘方向探索

根據證券業務與數據特點，可以實施的挖掘方向有：客戶分析、客戶管理、證券營銷、財務指標分析、交易數據分析、風險分析、投資組合分析、用戶行為分析等。下面簡要介紹各個方向的思路。

客戶分析及營銷

通過數據進行挖掘和聚類分析，可以清晰發現不同類型客戶的特征，挖掘不同類型客戶的特點，提供不同的服務和產品。反過來，如果我們知道了客戶的特征與偏好，有針對性地設計新的產品和服務，勢必能獲得更好的推廣效果。

通過對客戶資源信息進行多角度挖掘，了解客戶各項指標，掌握客戶投訴、客戶流失等信息，從而在客戶離開券商之前，捕獲信息，及時采取措施挽留客戶。

通過對客戶交易行為的分析與挖掘，了解用戶的交易行為、方式、風險偏好，從而提升交叉營銷的成功率，同時結合挖掘結果，給客戶提供更加貼心的服務，提升客戶忠誠度。

用戶行為分析

通過對證券軟件、證券互聯網、證券移動終端開放用戶使用行為的分析和挖掘，了解到用戶的興趣點、訪問規律，為用戶轉化為客戶提供目標人群，提高用戶轉客戶的成功率，同時，利用訪問模型，改進軟件和網站的布局，提升軟件和網站的人性化設計。

市場預測

對股票從基本面、消息面、技術指標等數據進行聚類分析，從而將股票劃分不同的群體，預測板塊輪動或是未來走勢。

根據采集行情和交易數據，結合行情分析，預測未來大盤走勢，并發現交易情況隨著大盤變化的規律，并根據這些規律做出趨勢分析，對客戶針對性進行咨詢。

投資組合

利用數據挖掘技術不僅可以更好地刻畫預期的不確定性，改進已有的投資組合模型，使之更加符合現實需求，同時可以為投資組合模型的求解提供更為精確的手段，從而為投資者提供更為精準的知識。

風險防范

通過對資金數據的分析，可以控制營業風險，同時可以改變公司總部原來的資金控制模式，并通過橫向比較及時了解資金情況，起到風險預警的作用。

經營狀況分析

通過數據挖掘，可以及時了解營業狀況、資金情況、利潤情況、客戶群分布等重要的信息。并結合大盤走勢，提供不同行情條件下的最大收益經營方式。同時，通過對各營業部經營情況的橫向比較，以及對本營業部歷史數據的縱向比較，對營業部的經營狀況作出分析，提出經營建議。

3.3.華泰證券數據挖掘實施業務流程

華泰證券數據挖掘實施業務流程包括：

1. 項目背景和業務分析需求提出
   針對需求收集相關的背景數據和指標，與業務方一起熟悉背景中的相關業務邏輯，并收集業務方對需求的相關建議、看法，這些信息對于需求的確認和思路的規劃乃至后期的分析都是至關重要的。從數據分析的專業角度評價初步的業務分析需求是否合理，是否可行。

2. 指定需求分析框架和分析計劃
   針對前面對業務的初步了解和需求背景的分析，指定初步的分析框架和分析計劃。分析框架的主要內容如下：分析需求轉化成數據分析項目中目標變量的定義，分析思路的大致描述，分析樣本的數據抽取規則，根據目標變量的定義，選擇一個適當的時間窗口，然后抽取一定的樣本數據，潛在分析變量（模型輸入變量）的大致圈定和羅列，分析過程中的項目風險思考和主要應對策略，項目落地應用價值分析和展望。

3. 抽取樣本數據、熟悉數據、數據預處理
   根據前期討論的分析思路和建模思路，以及初步圈定的分析字段（分析變量）編寫代碼，從數據倉庫中提取分析、建模所需的樣本數據；通過對樣本數據的熟悉和摸底，找到無效數據、臟數據、錯誤數據等，并且對樣本數據中存在的這些明顯的數據質量問題進行清洗、剔除、轉換，同時視具體的業務場景和項目需求，決定是否產生衍生變量，以及怎樣衍生等。

4. 按計劃初步搭建挖掘模型
   對數據進行初步的摸底和清洗之后，就進入初步搭建挖掘模型階段了。在該階段，包括如下3個主要的工作內容：進一步篩選模型的輸入變量；嘗試不同的挖掘算法和分析方法，并比較不同方案的效果、效率和穩定性；整理經過模型挑選出來的與目標變量的預測最相關的一系列核心輸入變量，將其作為與業務方討論落地應用的參考和建議。

5. 討論模型的初步結論，提出新的思路和模型優化方案
   整理模型的初步報告、結論，以及對主要預測字段進行提煉，還要通過與業務溝通和分享，在此基礎上討論出模型的可能優化方向，并對落地應用的方案進行討論，同時羅列出注意事項。

6. 按優化方案重新抽取樣本并建模，提煉結論并驗證模型
   在優化方案確定的的基礎上，重新抽取樣本，一方面驗證之前優化方向的猜想；另一方面嘗試搭建新的模型提升效果。模型建好后，還不能馬上提交給業務方進行落地應用，還必須用最新的實際數據來驗證模型的穩定性。如果通過相關驗證得知模型的穩定性非常好，那無論對模型的效果還是項目應用的前景，就都有比較充足的底氣了。

7. 完成分析報告和落地應用建議
   在上述模型優化和驗證的基礎上，提交給業務方一份詳細完整的項目結論和應用建議，包括以下內容：

• 模型的預測效果和效率，以及在最新的實際數據中驗證模型的結果，即模型的穩定性。

• 通過模型整理出來的可用作為運營參考的重要自變量及相應的特征、規律。

• 數據分析師根據模型效果和效率提出的落地應用的分層建議，以及相應的運營建議，其包括：預測模型打分應用基礎上進一步的客戶特征分層、相應細分群體運營通道的選擇、運營文案的主題或噱頭、運營引導的方向和目的、對照組與運營組的設置、效果監控的方案等。

8. 制定具體的落地應用方案和評估方案
   與業務方討論，確定最終的運營方案及評估方案。

9. 業務方實施落地應用方案并跟蹤、評估效果
   按照上述的運營和監控方案對運營組和對照組進行分層的精細化運營，取一段時間如一周的運營結論，主要從兩個方面來衡量：預測模型的穩定性評測；運營效果。

10. 落地應用方案在實際效果評估后，不斷修正完善
    通過對第一次運營效果的評估和反思，從正反兩個方面進行總結，如果模型穩定性好，有較好的預測效果，則可以放心使用模型，優化運營方案。

11. 不同運營方案的評估、總結和反饋
    根據實際情況，指定多種運營方案，監控不同運營方案的執行情況及效果。

4.華泰證券數據挖掘實踐

華泰證券一直重視數據資產的價值發現，在數據分析與挖掘方面也做了很多的技術儲備和實踐。在對華泰證券某集合理財產品的銷售數據分析中，我們通過數學方法結合數據挖掘軟件建立了預測模型，驗證了模型的有效性，并且通過模型獲得了很好的預期提升效果。主要步驟如下：

1. 數據準備
   首先，確定合適的觀察期。在從數據中心提取觀察期內的原始數據后，進行數據預處理，例如：剔除資產過小的客戶、剔除長時間無主動交易的客戶、剔除機構客戶等，得到規模為五十多萬條記錄的初始數據集。

2. 變量分析與數據抽樣
   由于初始數據集是一個包含較多屬性的寬表，為了選取主要變量、舍棄無關變量、減少變量數目，以利于實施數據挖掘算法。我們進行了以下的變量分析處理：

• 對屬性定義一個被稱為信息值（Information Value）的變量，計算每個屬性的信息值。該值越大，表示對結果的影響越大，該變量越重要；該值越小，則認為可舍棄該變量。

• 為應用Logistic分析，將上述步驟中的連續性變量進行分段，再一次計算 IV值并舍棄區分度不高的變量。

• 利用Stepwise Logistic方法結合默認的概率值確定入選變量和剔除變量。

• 對變量進行主成分分析，進一步挑選較少個數的重要變量。

• 在確定入選變量后，將數據集按比例分為建模數據集與驗證數據集，并對建模數據集進行過抽樣，以減少建模記錄數并提高事件率，驗證數據集則用于對將要生成的模型進行驗證。

3. 建立模型
   針對上述建模數據集，采用 Logistic回歸建模，將結果輸出至結果集。

4. 模型驗證與結果展示
   對驗證集進行單因子非參數方差分析，即npar1way過程，得到Kolmogorov-Smirnov檢驗值0.619，大于 0.05，則可認為驗證集服從建模集的數據分布，即由建模集生成的模型是有效的。結果展示有多種方法，此處選取畫ROC曲線圖，來直觀體現數據挖掘的效果，如圖2所示：

圖2 分類模型ROC曲線

圖中的綠色對角線可理解為自然狀態、即不進行任何數據挖掘預測情況下的結果；而黃色曲線是預測后的結果，曲線與橫軸所圍成的面積，即AUC值(Area Under the  Curve曲線下面積 )，越大，則說明預測效果越好?？梢?，我們的模型具有非常好的預測效果。

5.結束語

隨著互聯網、移動互聯網的發展，證券行業信息化的應用環境正在發生著深刻的變化，外部數據迅速擴展，企業應用和互聯網應用的融合越來越快?；ヂ摼W金融給證券行業帶來的傳統價值創造和價值實現方式的根本性轉變，讓數據分析和挖掘逐步走向證券業務發展和創新的前臺。本文在簡要介紹數據挖掘技術的基礎上，探討了證券數據挖掘的方法論和挖掘方向，并結合華泰證券的數據挖掘實踐證明，數據分析和挖掘確能給企業的業務發展提供有益的幫助。相信隨著金融互聯網的多樣化，證券行業內外數據的不斷完備，數據分析和挖掘將在證券行業的運用越來越廣泛，并成為證券公司數據化運營的一部分。