如何從海量數據中挖掘威脅情報_數據分析師

正如有些有見地的員工所指出，“威脅情報”是還沒有明確定義的令人困惑的概念。如果你到處問問“什么是威脅情報?”，你會得到各種對解決方案和服務的描述，從惡意軟件數據庫到簽名檢測工具和IDS/IPS系統，再到現場咨詢服務等。

然而，在乍看之下，這兩個詞一起看似乎立刻有了意義?！扒閳蟆奔词占P于某物的詳細信息，而“威脅”就是你收集關于什么的信息。當你在谷歌搜索“情報搜集”，定義很明確：

在最廣泛的形式中，情報收集網絡是指這樣一個系統，即通過這個系統收集的關于特定實體的信息通過使用一個以上相互關聯的來源而讓另一個人受益。

從網絡的角度來看，對可能威脅你的業務、網絡、軟件、web服務器等的信息的收集是很有價值的。那么，為什么網絡威脅情報這么難以獲取?對于初學者來說，是不是幾乎所有安全工具或網絡防御活動都是威脅情報機制?同時，如果是這樣的話，企業如何利用來自四面八方的數據來采取任何形式的行動?答案是“是”以及“不是那么容易”。事實上，現在大多數企業很難從威脅情報中獲取真正的價值。

網絡安全領域的大多數解決方案會測量、追蹤、日志記錄或報告事件。所有這些工具和流程會產生數據，這些數據可以進行數據分析而產生“威脅情報”。這些工具會產生大量數據，而且是很低水平的數據，換句話說，關于任何實體的信息都是非常冗長、復雜，且很少相互關聯。

更重要的是，很少有企業部署了強大的描述性-預測性-指令性分析功能來整理這些數據，以及支持最高業務層面的決策過程。這些威脅數據并沒有標準模式或者聯系網絡活動到資產或業務操作。因此，并沒有決策支持系統可以支持數據挖掘活動來回答典型的描述性問題，例如“在過去六個月是什么對企業造成最大的傷害?”或者更成熟的問題，“我們的哪個技術投資具有最高的投資回報率，以及哪些技術投資帶來負面影響，哪些可能會構成威脅?”

信息太多

企業如何清除這些噪音而獲取真正的價值呢?通過遵循一個簡單的公式即可。還記得我們在學校學過的勾股定理嗎?a2 + b2 = c2?這是幾何的基本定理。還有麥克斯韋方程?熱力學第二定律?傅立葉變換?或者其中最有名的，愛因斯坦的相對論，E=mc2?這些公司幫助我們制造了太多信息，太多數據。這些公式同樣帶領我們到了現在的時代，雷達、電視、噴氣式客機、電子郵件、互聯網以及社交媒體。

輸入一個簡單的公式可以幫助獲取有效的網絡威脅情報而不只是收集威脅數據：

Risk Intelligence = (High-Level Threat Intelligence + Context) * Continuous Data Collection/Intuitive KPIs

威脅情報=(高級別威脅情報+背景知識內容)*連續數據采集/直觀的KPI

誠然，這并不是“真正的”公式。但它確實提供了同樣強大的功能。換句話說，它可以幫助企業消除數據噪音，讓看似無關的數據帶來真正價值，帶來切實可行的解決方案。

在上面的公式中，我們可以將通過從各種來源收集和轉譯的低水平的威脅數據，轉變為到分析師可以理解的高水平語言。通過存儲這些數據并賦予其與你的企業、行業、技術相關的特定背景知識，以及威脅會如何影響你的企業，數據就可以進行分析。

從這個公式來看，簡單的分析通常就能夠產生需要的結果。使用傳統的關鍵績效指標(KPI)業務智能結構，企業可以使用這個公式創建簡單而強大的分析。例如，在金融領域，典型的KPI包括利用率、利潤對收益率、現金流、凈乘法器和積壓量。當隨著時間的推移，這個過程會為業務領導產生重要的決策信息。

這種kPI的概念還可以用于網絡數據。最后，它們也可以產生重要的價值信息，例如，特定安全投資的投資回報率或者企業是否有足夠的安全人員來實現特定的安全目標。應用簡單的威脅情報公式來處理原始威脅情報可以產生有用和有價值的結果。CDA數據分析師培訓官網