如何使用大數據幫助抓捕罪犯

最近波士頓馬拉松賽恐怖襲擊的余波尚在，我偶然看到了FCW的一篇有趣的文章，它對政府機構中部署的最新技術和IT技術趨勢進行了深入分析。在之前的博客文章中，我曾多次提到“大數據”的使用比以往更加普及了。大數據可以簡單地定義成一種從大量的數據中集中整理出所需信息，并將其用于戰略和戰術行動的手段。實際上，看到大數據被用于幫助抓捕罪犯并不稀奇，原因很簡單，在當今這個反恐時代，“防火墻之后”的事件幾乎與實際犯罪現場發生的事件同樣重要。

    從根本上說，大家所看到的FBI調查只是大數據和數據分析實踐的冰山一角，這只不過是萬里長征的第一步。以下是這篇文章的幾條要點。
    在4月15日的波士頓馬拉松賽中，兩場爆炸造成了3人死亡和數十人受傷，這之后不到24小時FBI就編譯了10TB的數據，希望通過大海撈針的方式找出嫌疑人的蛛絲馬跡。
    FBI主導的這一調查對海量的手機基站日志、短信、社交媒體數據、照片和視頻監控錄像進行了分析，希望快速找出嫌疑人。
    調查使用了面部識別軟件將照片和視頻上的面孔與護照、簽證、駕照和其它數據上的照片進行對比。
    調查人員收集的10TB數據不過是滄海一粟（聯邦政府通常處理的是PB級的數據），調查工作實際上進行了大量的數據削減，主要原因是數據量過大，數據介質類型龐雜，要處理的數據的整體復雜度過高，以及分析數據能夠利用的時間很有限。
    處理TB級數據或更多的視頻、數字圖像、文字信息和手機記錄就已經十分復雜了。不難想象，如果再把社交媒體加入進來這會是一個多么漫無邊際、深不見底的泥潭。我發現這篇文章中最有意思的一點是，調查公司借助一家名為Topsy的公司的服務對數十億條tweet進行了篩選。Topsy保存有2010年7月以來的所有tweet，在恐怖分子調查中，這使調查人員能夠對與波士頓相關的tweet進行大數據分析，而不必去分析上千億條過去和現在的消息。Topsy的數據庫分析軟件使調查人員能夠用關鍵詞“bomb”（炸彈）搜索特定區域（包括波士頓以及鄰近郊區）Twitter上的所有評述。
    最終，這種細致搜索從兩個嫌疑人的Twitter賬戶上檢查出了包含“bomb”的內容。這種對公共記錄的搜索很可能發現其它一些事實上不利于調查的線索，包括有些用戶轉發了提到炸彈的信息，或者參與了作為嫌疑人定罪證據的聊天等等。此外，Topsy的“地理位置推測”（ Geo-inferencing）技術也使調查人員能夠對發出tweet信息的具體地點進行準確映射（考慮到僅有1%的Twitter用戶在發tweet時使用了地理位置標簽，這項推測技術相當了得）。據Topsy稱，這些功能比標準的Twitter位置數據的準確度高20倍。
   Emulex能夠“掌控”大數據
    在Emulex，我們認為解決大數據問題的核心在于企業網絡的框架。這里有大量的服務器進行著平行處理來創造價值，這些服務器通過以太網和光纖通道協議相互通訊。因此，網絡流量的延時和吞吐速度是快速實現大數據部署的關鍵問題。Emulex之所以能夠解決這些延時問題，并獲得全球眾多企業的選用，是因為我們提供了能夠最大限度地擴大數據集群的I/O解決方案，使大數據解決方案能夠實現無縫部署。
    不幸的是，在一些變態狂的影響下，我們的世界充滿著動蕩、恐懼，甚至是屠殺。但是同樣讓我們難以忘懷的是，我們的社會仍能在需要的時候展現出巨大的仁慈和愛心，正像波士頓的公民在這次恐怖襲擊之后所展現出來的。盡管大數據為調查提供了重要幫助，但我們不要忘記最終還是一位公民提供的線索把調查人員引向了兩名兇犯。歸根結底，沒有任何技術——無論其多么先進——能夠取代人類的善良和不屈不撓的意志。