淺談公安大數據的建設_數據分析師

1公安大數據的建設需求

　　近年來隨著信息化技術的不斷發展，現有的公安警務數據中心無論是規模還是架構都很難適應在海量數據場景下的數據管理和分析，直接影響了公安形勢預判和重大決策。因此，在現階段建設新的能夠匹配公安業務場景的大數據系統是公安部門的迫切需求。

　　新建設的公安大數據系統，將成為面向各警種的大數據管理和分析平臺，通過對海量數據的收集、整理、歸檔、分析、預測，從復雜的數據中挖掘出各類數據背后所蘊含的、內在的、必然的因果關系，找到隱秘的規律，促使這些數據從量變到質變，實現對海量數據的深度應用、綜合應用和高端應用。通過大數據的建設，使新系統能夠向各警種提供集中資源、集中管理、集中監控和配套實施統一的大數據應用環境，保障在今后一個較長時期內很好地擔負起對全局各警實戰應用的支撐、服務、保障作用。

　　那么，公安需要一個什么樣的大數據系統?

　　1.PB級數據存儲管理：信息化建設在推進，數據規模隨之飛速增長，為了滿足大規模數據的存儲和分析，大數據存儲系統應支持單一系統擴展至10PB以上規模，以滿足未來數據爆發的存儲需要

　　2.多種數據類型與協議支持：公安數據形式多樣，包含文檔、圖片、視頻、柵格、矢量等，因此該系統需要能夠支持結構化、半結構化、非結構化多種數據類型，提供NFS/CIFS/JDBC/ODBC等多種接口，以便業務對多種數據進行訪問和操作;

　　3.高質量的數據整合：好的數據質量是數據分析挖掘等有效應用的基本條件，面對公安行業交互復雜而繁多的系統，勢必需要將這些多源異構的數據進行抽取、轉換及裝載，實現數據的整合、消重，提供高質量的數據，在此基礎上進行關聯、建模，為實戰業務提供可用的數據;

　　4.高效的數據分析能力：百億條記錄的檢索、上千張表的碰撞、幾百個小時的視頻分析、大量的移動互聯網和社交媒體數據處理等應用，無不對大數據系統的數據分析能力提出更高的要求;

　　5.可管理和開放性：可管理、開放化、標準化的大數據技術體系架構，不僅可以為公安帶來更高的性價比、更出色的擴展性，更能為警務建設在大數據平臺上開展新探索、新應用解除后顧之憂;

　　6.安全可靠，自主可控：公安系統中很多數據關系著國家安全和人民生命財產安全，因此，要求該系統具備非常高的可靠性，同時，為進一步加強數據安全性，避免數據泄露，最好選用具備完全自主知識產權的國產設備和系統。

　　2公安大數據的技術選型

　　大數據的實質是對數據的管理與開發利用，與當前以信息資源開發為核心的公安工作具有廣泛的共通性，如何借助大數據技術推動公安工作的發展和變革?技術選型非常重要。在各個企業和組織紛紛助推下，大數據領域的相關技術呈現百花齊放局面，涵蓋數據收集、存儲、計算、挖掘、資源調度等，下面就以最核心的計算層和存儲層兩個維度介紹下有關技術路線和發展趨勢。

　　數據處理：

　　簡而言之，不管對何種應用，當數據量很大時就無法在一臺服務器上解決計算問題，此時分布式計算優勢就體現出來，而Hadoop MapReduce的重要創新便是當處理一個大數據集時會將其任務分解并在運行的多個節點中處理，這種批處理框架常用于離線的復雜的非結構化數據處理，如ETL、數據挖掘等場景;與Hadoop的使用硬盤來存儲數據不同，Spark是基于內存的迭代計算框架，適用于需要多次操作特定數據集的應用場合;而Storm則是專門針對實時數據類型的流式計算分析框架，應用在低延遲的場景中，實現海量事件的實時分析、處理和決策。除此之外，為應對不斷增長的海量結構化數據的存儲和快速處理以及靈活的業務建模需求，數據庫系統必將引入分布式架構、MPP處理技術。

　　數據存儲：

　　上面提到了MapReduce將任務分發到多個服務器上處理大數據的能力。而對于分布式計算，每個服務器必須具備對數據的訪問能力，這就是HDFS所起到的作用，HDFS有著高容錯性、高吞吐量的特點，適合大數據集的應用。與此同時，業內也有許多其他類型的文件系統推出，不僅能解決了傳統存儲體系結構存在的難題，又能提高存儲利用率和數據讀寫性能，可以替代HDFS作為Hadoop架構的底層文件系統/數據存儲。

　　不同的技術思路各有偏重，由于公安業務種類繁多，大數據應用場景多樣化，除了建立各類基礎大數據資源庫之外，還需要做到事前預測警務研判、事中實時情報分析及事后案事件分析，及可視化查詢統計等，建議公安用戶基于智能融合的大數據架構構建上層應用，積極引入大數據領域的先進技術，推動公安工作邁入大數據發展階段。

　　3華為大數據解決方案服務公安

　　華為匯集國內外的大數據專家，構建世界級的大數據團隊，全面覆蓋大數據領域關鍵技術，推出了智能融合的大數據解決方案，已在全球電信市場、國內金融行業和政府涉密部門等擁有大量實踐及成功案例，例如招商銀行、建設銀行、工商銀行、上海聯通和江蘇移動等，并與多地公安機關和公安行業應用廠家展開緊密合作，致力于為公安用戶打造服務于實戰應用的大數據方案。

　　華為大數據方案融合了基礎設施層面的OceanStor 9000大數據存儲，RH2288通用X86服務器，和數據管理分析層面的FusionInsight企業級Hadoop，該方案在公安領域的價值體現包括：

　　建立融合海量異構多源數據的公安信息資源庫，將更大規模、更多類型的數據納入大數據平臺，拓寬公安的數據掌控面;

　　實現更快更準的智能搜索、關聯查詢和碰撞比對，提高研判分析效率;

　　融合多種分布式計算框架，處理更復雜的分析模型和預測模型，提升案件偵破能力;

　　保持大數據平臺100%的開放性，支持被集成，更穩健地搭載公安業務;

　　華為公司戰略投入，強大的研發團隊長期從事大數據領域發展的研究，能助力公安的大數據實踐和探索。