大數據環境下網絡安全態勢感知研究

1 引言

隨著計算機和通信技術的迅速發展， 計算機網絡的應用越來越廣泛， 其規模越來越龐大， 多層面的網絡安全威脅和安全風險也在不斷增加， 網絡病毒、 Dos/DDos攻擊等構成的威脅和損失越來越大， 網絡攻擊行為向著分布化、 規?；?、 復雜化等趨勢發展， 僅僅依靠防火墻、 入侵檢測、 防病毒、 訪問控制等單一的網絡安全防護技術， 已不能滿足網絡安全的需求， 迫切需要新的技術， 及時發現網絡中的異常事件， 實時掌握網絡安全狀況， 將之前很多時候亡羊補牢的事中、 事后處理，轉向事前自動評估預測， 降低網絡安全風險， 提高網絡安全防護能力。

網絡安全態勢感知技術能夠綜合各方面的安全因素， 從整體上動態反映網絡安全狀況， 并對網絡安全的發展趨勢進行預測和預警。 大數據技術特有的海量存儲、 并行計算、 高效查詢等特點， 為大規模網絡安全態勢感知技術的突破創造了機遇， 借助大數據分析， 對成千上萬的網絡日志等信息進行自動分析處理與深度挖掘， 對網絡的安全狀態進行分析評價， 感知網絡中的異常事件與整體安全態勢。

一起來聊聊這個新職位：大數據安全分析師

項目總結：以網絡安全為例的大數據可視化設計

基于大數據分析的安全管理平臺技術研究及應用【摘錄】

分布式前置機器學習在威脅情報中的應用（附PPT下載）

2 網絡安全態勢相關概念

2.1 網絡態勢感知

態勢感知（Situation Awareness， SA） 的概念是1988年Endsley提出的， 態勢感知是在一定時間和空間內對環境因素的獲取， 理解和對未來短期的預測。 整個態勢感知過程可由圖1所示的三級模型直觀地表示出來。

所謂網絡態勢是指由各種網絡設備運行狀況、 網絡行為以及用戶行為等因素所構成的整個網絡當前狀態和變化趨勢。

網絡態勢感知（Cyberspace Situation Awareness，CSA） 是1999年Tim Bass首次提出的， 網絡態勢感知是在大規模網絡環境中， 對能夠引起網絡態勢發生變化的安全要素進行獲取、 理解、 顯示以及預測最近的發展趨勢。

態勢是一種狀態、 一種趨勢， 是整體和全局的概念， 任何單一的情況或狀態都不能稱之為態勢。 因此對態勢的理解特別強調環境性、 動態性和整體性， 環境性是指態勢感知的應用環境是在一個較大的范圍內具有一定規模的網絡； 動態性是態勢隨時間不斷變化， 態勢信息不僅包括過去和當前的狀態， 還要對未來的趨勢做出預測； 整體性是態勢各實體間相互關系的體現，某些網絡實體狀態發生變化， 會影響到其他網絡實體的狀態， 進而影響整個網絡的態勢。

2.2 網絡安全態勢感知

網絡安全態勢感知就是利用數據融合、 數據挖掘、智能分析和可視化等技術， 直觀顯示網絡環境的實時安全狀況， 為網絡安全提供保障。 借助網絡安全態勢感知， 網絡監管人員可以及時了解網絡的狀態、 受攻擊情況、 攻擊來源以及哪些服務易受到攻擊等情況， 對發起攻擊的網絡采取措施； 網絡用戶可以清楚地掌握所在網絡的安全狀態和趨勢， 做好相應的防范準備， 避免和減少網絡中病毒和惡意攻擊帶來的損失； 應急響應組織也可以從網 絡安全態勢中了解所服務網 絡的安全狀況和發展趨勢， 為 制定有預見性的應急預案提供基礎。

3 網絡安全態勢感知相關技術

對于大規模網絡而言， 一方面網絡節點眾多、 分支復雜、 數據流量大， 存在多種異構網絡環境和應用平臺； 另一方面網絡攻擊技術和手段呈平臺化、 集成化和自 動化的發展趨勢， 網絡攻擊具有更強的隱蔽性和更長的潛伏時間， 網絡威脅不斷增多且造成的損失不斷增大。 為了實時、 準確地顯示整個網絡安全態勢狀況， 檢測出潛在、 惡意的攻擊行為， 網絡安全態勢感知要在對網絡資源進行要素采集的基礎上， 通過數據預處理、 網絡安全態勢特征提取、 態勢評估、 態勢預測和態勢展示等過程來完成， 這其中涉及許多相關的技術問題， 主要包括數據融合技術、 數據挖掘技術、 特征提取技術、 態勢預測技術和可視化技術等。

3.1 數據融合技術

由于網絡空間態勢感知的數據來自眾多的網絡設備， 其數據格式、 數據內容、 數據質量千差萬別， 存儲形式各異， 表達的語義也不盡相同。 如果能夠將這些使用不同途徑、 來源于不同網絡位置、 具有不同格式的數據進行預處理， 并在此基礎上進行歸一化融合操作，就可以為網絡安全態勢感知提供更為全面、 精準的數據源， 從而得到更為準確的網絡態勢。 數據融合技術是一個多級、 多層面的數據處理過程， 主要完成對來自網絡中具有相似或不同特征模式的多源信息進行互補集成， 完成對數據的自動監測、 關聯、 相關、 估計及組合等處理， 從而得到更為準確、 可靠的結論。 數據融合按信息抽象程度可分為從低到高的三個層次： 數據級融合、 特征級融合和決策級融合， 其中特征級融合和決策級融合在態勢感知中具有較為廣泛的應用。

3.2 數據挖掘技術

網絡安全態勢感知將采集的大量網絡設備的數據經過數據融合處理后， 轉化為格式統一的數據單元。這些數據單元數量龐大， 攜帶的信息眾多， 有用信息與無用信息魚龍混雜， 難以辨識。 要掌握相對準確、 實時的網絡安全態勢， 必須剔除干擾信息。 數據挖掘就是指從大量的數據中挖掘出有用的信息， 即從大量的、 不完全的、 有噪聲的、 模糊的、 隨機的實際應用數據中發現隱含的、 規律的、 事先未知的， 但又有潛在用處的并且最終可理解的信息和知識的非平凡過程（ NontrivialProcess） [1 ]。 數據挖掘可分為描述性挖掘和預測性挖掘， 描述性挖掘用于刻畫數據庫中數據的一般特性； 預測性挖掘在當前數據上進行推斷， 并加以預測。 數據挖掘方法主要有： 關聯分析法、 序列模式分析法、 分類分析法和聚類分析法。 關聯分析法用于挖掘數據之間的聯系； 序列模式分析法側重于分析數據間的因果關系；分類分析法通過對預先定義好的類建立分析模型， 對數據進行分類， 常用的模型有決策樹模型、 貝葉斯分類模型、 神經網絡模型等； 聚類分析不依賴預先定義好的類， 它的劃分是未知的， 常用的方法有模糊聚類法、 動態聚類法、 基于密度的方法等。

3.3 特征提取技術

網絡安全態勢特征提取技術是通過一系列數學方法處理， 將大規模網絡安全信息歸并融合成一組或者幾組在一定值域范圍內的數值， 這些數值具有表現網絡實時運行狀況的一系列特征， 用以反映網絡安全狀況和受威脅程度等情況。 網絡安全態勢特征提取是網絡安全態勢評估和預測的基礎， 對整個態勢評估和預測有著重要的影響， 網絡安全態勢特征提取方法主要有層次分析法、 模糊層次分析法、 德爾菲法和綜合分析法。

3.4 態勢預測技術

網絡安全態勢預測就是根據網絡運行狀況發展變化的實際數據和歷史資料， 運用科學的理論、 方法和各種經驗、 判斷、 知識去推測、 估計、 分析其在未來一定時期內可能的變化情況， 是網絡安全態勢感知的一個重要組成部分。 網絡在不同時刻的安全態勢彼此相關， 安全態勢的變化有一定的內部規律， 這種規律可以預測網絡在將來時刻的安全態勢， 從而可以有預見性地進行安全策略的配置， 實現動態的網絡安全管理， 預防大規模網絡安全事件的發生。 網絡安全態勢預測方法主要有神經網絡預測法、 時間序列預測法、 基于灰色理論預測法。

3.5 可視化技術

網絡安全態勢生成是依據大量數據的分析結果來顯示當前狀態和未來趨勢， 而通過傳統的文本或簡單圖形表示， 使得尋找有用、 關鍵的信息非常困難。 可視化技術是利用計算機圖形學和圖像處理技術， 將數據轉換成圖形或圖像在屏幕上顯示出來， 并進行交互處理的理論、 方法和技術。 它涉及計算機圖形學、 圖像處理、 計算機視覺、 計算機輔助設計等多個領域。 目前已有很多研究將可視化技術和可視化工具應用于態勢感知領域， 在網絡安全態勢感知的每一個階段都充分利用可視化方法， 將網絡安全態勢合并為連貫的網絡安全態勢圖， 快速發現網絡安全威脅， 直觀把握網絡安全狀況。

4 基于多源日志的網絡安全態勢感知

隨著網 絡規模的 擴大以及網 絡攻擊復雜度的增加， 入侵檢測、 防火墻、 防病毒、 安全審計等眾多的安全設備在網絡中得到廣泛的應用， 雖然這些安全設備對網絡安全發揮了一定的作用， 但存在著很大的局限，主要表現在： 一是各安全設備的海量報警和日志， 語義級別低， 冗余度高， 占用存儲空間大， 且存在大量的誤報， 導致真實報警信息被淹沒。 二是各安全設備大多功能單一， 產生的報警信息格式各不相同， 難以進行綜合分析整理， 無法實現信息共享和數據交互， 致使各安全設備的總體防護效能無法得以充分的發揮。 三是各安全設備的處理結果僅能單一體現網絡某方面的運行狀況， 難以提供全面直觀的網絡整體安全狀況和趨勢信息。 為了有效克服這些網絡安全管理的局限， 我們提出了基于多源日志的網絡安全態勢感知。

4.1 基于多源日志的網絡安全態勢感知要素獲取

基于多源日志的網絡安全態勢感知是對部署在網絡中的多種安全設備提供的日志信息進行提取、 分析和處理， 實現對網絡態勢狀況進行實時監控， 對潛在的、惡意的網絡攻擊行為進行識別和預警， 充分發揮各安全設備的整體效能， 提高網絡安全管理能力。

基于多源日志的網絡安全態勢感知主要采集網絡入口處防火墻日志、 入侵檢測日志， 網絡中關鍵主機日志以及主機漏洞信息， 通過融合分析這些來自不同設備的日志信息， 全面深刻地挖掘出真實有效的網絡安全態勢相關信息， 與僅基于單一日志源分析網絡的安全態
勢相比， 可以提高網絡安全態勢的全面性和準確性。

4.2 利用大數據進行多源日志分析處理

基于多源日志的網絡安全態勢感知采集了多種安全設備上以多樣的檢測方式和事件報告機制生成的海量數據， 而這些原始的日 志信息存在海量、 冗余和錯誤等缺陷， 不能作為態勢感知的直接信息來源， 必須進行關聯分析和數據融合等處理。 采用什么樣的技術才能快速分析處理這些海量且格式多樣的數據？

大數據的出現， 擴展了計算和存儲資源， 大數據自身擁有的Variety支持多類型數據格式、 Volume大數據量存儲、Velocity快速處理三大特征， 恰巧是基于多源日志的網絡安全態勢感知分析處理所需要的。 大數據的多類型數據格式， 可以使網絡安全態勢感知獲取更多類型的日志數據， 包括網絡與安全設備的日志、 網絡運行情況信息、 業務與應用的日志記錄等； 大數據的大數據量存儲正是海量日志存儲與處理所需要的； 大數據的快速處理為高速網絡流量的深度安全分析提供了技術支持， 為高智能模型算法提供計算資源。 因此， 我們利用大數據所提供的基礎平臺和大數據量處理的技術支撐， 進行網絡安全態勢的分析處理。

關聯分析。 網絡中的防火墻日志和入侵檢測日志都是對進入網絡的安全事件的流量的刻畫， 針對某一個可能的攻擊事件， 會產生大量的日志和相關報警記錄，這些記錄存在著很多的冗余和關聯， 因此首先要對得到的原始日志進行單源上的關聯分析， 把海量的原始日志轉換為直觀的、 能夠為人所理解的、 可能對網絡造成危害的安全事件。 基于多源日志的網絡安全態勢感知采用基于相似度的報警關聯， 可以較好地控制關聯后的報警數量， 有利于減少復雜度。 其處理過程是： 首先提取報警日志中的主要屬性， 形成原始報警； 再通過重復報警聚合， 生成聚合報警； 對聚合報警的各個屬性定義相似度的計算方法， 并分配權重； 計算兩個聚合報警的相似度， 通過與相似度閥值的比較， 來決定是否對聚合報警進行超報警； 最終輸出屬于同一類報警的地址范圍和報警信息， 生成安全事件。

融合分析。 多源日志存在冗余性、 互補性等特點，態勢感知借助數據融合技術， 能夠使得多個數據源之間取長補短， 從而為感知過程提供保障， 以便更準確地生成安全態勢。 經過單源日志報警關聯過程， 分別得到各自的安全事件。 而對于來自防火墻和入侵檢測日志的的多源安全事件， 采用D-S證據理論（由Dempster于1967年提出， 后由Shafer于1976年加以推廣和發展而得名） 方法進行融合判別， 對安全事件的可信度進行評估， 進一步提高準確率， 減少誤報。 D-S證據理論應用到安全事件融合的基本思路： 首先研究一種切實可行的初始信任分配方法， 對防火墻和入侵檢測分配信息度函數； 然后通過D-S的合成規則， 得到融合之后的安全事件的可信度。

態勢要素分析。 通過對網絡入口處安全設備日 志的安全分析， 得到的只是進入目 標網絡的可能的攻擊信息， 而真正對網絡安全狀況產生決定性影響的安全事件， 則需要通過綜合分析攻擊知識庫和具體的網絡環境進行最終確認。 主要分為三個步驟： 一是通過對大量網絡攻擊實例的研究， 得到可用的攻擊知識庫， 主要包括各種網絡攻擊的原理、 特點， 以及它們的作用環境等； 二是分析關鍵主機上存在的系統漏洞和承載的服務的可能漏洞， 建立當前網絡環境的漏洞知識庫， 分析當前網絡環境的拓撲結構、 性能指標等， 得到網絡環境知識庫； 三是通過漏洞知識庫來確認安全事件的有效性， 也即對當前網絡產生影響的網絡攻擊事件。 在網絡安全事件生成和攻擊事件確認的過程中， 提取出用于對整個網絡安全態勢進行評估的態勢要素， 主要包括整個網絡面臨的安全威脅、 分支網絡面臨的安全威脅、 主機受到的安全威脅以及這些威脅的程度等。

5 結語

為了解決日益嚴重的網絡安全威脅和挑戰， 將態勢感知技術應用于網絡安全中， 不僅能夠全面掌握當前網絡安全狀態， 還可以預測未來網絡安全趨勢。 本文在介紹網絡安全態勢相關概念和技術的基礎上， 對基于多源日志的網絡安全態勢感知進行了探討， 著重對基于多源日志的網絡安全態勢感知要素獲取， 以及利用大數據進行多源日志的關聯分析、 融合分析和態勢要素分析等內容進行了研究， 對于態勢評估、 態勢預測和態勢展示等相關內容， 還有待于進一步探討和研究。