實用的大數據技巧合集 _數據分析師

大數據應用的安全性方面往往被忽視或者被視為次要的需求。但是，數據的安全性在數據處理過程有著十分巨大的影響。本文將介紹一些保護大數據應用的步驟和工具。
隨著大數據在不同的領域蔓延，安全方面受到越來越多的關注。以前，我們使用具有中心控制的安全系統，但這并不足以保護你的應用程序免受入侵。大數據帶來了另外一些安全關切問題，與正常的應用程序有很大不同。
在當今世界，安全性相關的探索非常困難,前進方向也難以界定。整個軟件系統中實現合適的端至端安全系統是非常昂貴的?？傆幸粋€突破安全防護的可能性 存在，無論你遵循什么樣的政策或制度都是一樣。企業進行大數據項目時應制定相應的計劃，根據自己的預算和政策，采用最現代化新式安全措施。
在大數據環境中的安全風險
大數據時代出現了數據量，數據速率和數據種類的顯著增長，另外云計算模式下，移動應用程序和其他應用程序接連增長。通過不同的系統、應用和環境，數 據從一端流向另一端。這種數據爆炸對業務發展洞察力提供了有意義幫助，但它也把商業數據暴露給了各種系統，流程和相關人員。由于龐大的數據量在不同的協作 系統進行存儲，處理，分析，總會存在安全漏洞。
大數據從不同的源和不同類型的商業智能工具采集出來以用于分析，并獲得有意義的信息。該信息被決策者訪問和使用。有時候數據也可用于協作。用于協作 和處理的工具也有安全性限制。所以，總有暴露敏感數據/內容的概率。一旦大數據的值元素被確定，它就可以被訪問，更新或甚至由用戶改變。這可能會導致對企 業造成嚴重的安全問題和威脅。
先進的安全措施，可以確保在協作環境中的信息安全。涉及大數據的企業需要在控制和平衡業務需求與數據安全防護之間做到更加精確。以下是關于保護數據的一些建議：
將大數據分割成小數據：以這種方式，系統將能夠更好地處理數據的數量，速度和種類。其結果，企業也將能夠更快和更準確進行商業決策。
識別信息的適用范圍：企業需要識別參與此次合作的員工，合作伙伴，供應商，或任何其他第三方，另外也要識別溝通渠道。這有助于給出關于合作環境和利益相關者的詳細思路。
部署數據控制：數據控件都部署在非常重要戰略位置。這將確保數據的保護與協作。
在云計算和移動環境的控制部署：云和移動合作是任何應用程序及其部署的重要組成部分，也是風險最高的區域之一。企業需要了解和識別數據是如何在云計算和移動環境中實現共享。
大數據安全工具
在過去幾年中，大多數企業采用單一的軟件供應商和單個數據庫(SAP，Oracle ，PeopleSoft等)為整個企業服務。其結果是，安全性問題更加明顯并易于管理。但在目前情況下，我們有大數據，云計算，移動設備等等，系統中的安 全漏洞的數量是未知的，并且安全漏洞的可能性要高得多。
在最近的信息安全發展中，也有許多軟件包和供應商可用于加強信息安全實踐。對于大數據邊界安全策略與其他系統類似，所以在這部分中，我們將只討論’處于網絡內部“ 的工具。
監控和記錄：監視和記錄一切是檢測未授權活動的最佳策略。一些日志系統，如系統日志(Linux)，事件日志 (Windows)可以被有效地利用。SNMP對記錄網絡事件非常有用。也有可供日志匯總不同的軟件包，并將其存儲在一個中央位置進行分析。這些被稱為安 全信息和事件管理軟件(SIEM)包。
分析和審計：SIEM包的主要功能是自動檢測未經授權的活動，并產生警告。但是，所有SIEM軟件需要配置才能 正常工作。建議使用預配置SIEM包并時常更新他們，這樣能夠通過日志分析，找出安全漏洞。最新的SIEM包LogRhythm，Q1實驗室 (IBM)，McAfee的Splunk等
身份管理：身份和訪問管理(IAM)對于大數據保護來說是非常重要的，。因為數據是通過使用不同的信道被員工/ 承包商訪問，這些信道包括移動設備，SAAS模式，或其他服務。身份可以確定是誰正在對敏感數據進行訪問，考慮“身份”作為新的安全尺度是非常重要的，不 應只是專注于敏感數據的物理位置。身份管理是絕對有必要考慮的工具集合，將有助于我們應對周邊發生的故障。
掩蔽數據：數據掩蔽是保護數據安全的另一種方式。這些數據可以通過加密或斷詞被屏蔽。一些廠商還要求他們的數據屏蔽工具不遵循加密和標記化，但能夠動態地執行整個屏蔽。
應用安全：最后一步是確保訪問敏感信息的大數據應用安全性。這是非常關鍵的，因為大部分流行工具構建時并沒有考 慮安全因素。最近，大多數的大數據工具在安全方面有了顯著改善。最重要的兩個因素是“權限粒度級別’和’數據加密”。Hadoop的最新版本將支持新的安 全功能，可能解決這些新出現的問題。
總結
在當今世界，大數據安全是個大問題。正如我們所知道的大數據系統并不像普通單一的供應商系統，因此安全問題的處理更加復雜。沒有單一的解決方案/工 具/供應商可以保護您的數據，但是你可能需要使用不同的安全工具，這取決于需要保護的區域所處位置。因此，最終的解決辦法是繼續使用多種有效的工具，隨著 時間的推移。最后，你應該會具有一個良好的，全面的安全系統。