如何統計和分析利用網絡大數據?

大數據給互聯網帶來的是空前的信息大爆炸，它不僅改變了互聯網的數據應用模式，還將深深影響著人們的生產生活。深處在大數據時代中，人們認識到大數據已經將數據分析的認識從“向后分析”變成“向前分析”，改變了人們的思維模式，但同時大數據也向我們提出了數據采集、分析和使用等難題。在解決了這些難題的同時，也意味著大數據開始向縱深方向發展。

　　一、數據統計分析的內涵

近年來，包括互聯網、物聯網、云計算等信息技術在內的IT通信業迅速發展，數據的快速增長成了許多行業共同面對的嚴峻挑戰和寶貴機遇，因此現代信息社會已經進入了大數據時代。事實上，大數據改變的不只是人們的日常生活和工作模式、企業運作和經營模式，甚至還引起科學研究模式的根本性改變。一般意義上，大數據是指無法在一定時間內用常規機器和軟硬件工具對其進行感知、獲取、管理、處理和服務的數據集合。網絡大數據是指“人、機、物”三元世界在網絡空間中彼此交互與融合所產生并在互聯網上可獲得的大數據。

將數據應用到生活生產中，可以有效地幫助人們或企業對信息作出比較準確的判斷，以便采取適當行動。數據分析是組織有目的地收集數據、分析數據，并使之成為信息的過程。也就是指個人或者企業為了解決生活生產中的決策或者營銷等問題，運用分析方法對數據進行處理的過程。所謂的數據統計分析，就是運用統計學的方法對數據進行處理。在以往的市場調研工作中，數據統計分析能夠幫助我們挖掘出數據中隱藏的信息，但是這種數據的分析是“向后分析”，分析的是已經發生過的事情。而在大數據中，數據的統計分析是“向前分析”，它具有預見性。

　　二、大數據的分析

　　1.可視化分析。

數據是結構化的，包括原始數據中的關系數據庫，其數據就是半結構化的，譬如我們熟知的文本、圖形、圖像數據，同時也包括了網絡的不同構型的數據。通過對各種數據的分析，就可以清晰的發現不同類型的知識結構和內容，包括反映表征的、帶有普遍性的廣義型知識;用于反映數據的匯聚模式或根據對象的屬性區分其所屬類別的特征型知識;差異和極端特例進行描述的差異型知識;反映一個事件和其他事件之間依賴或關聯的關聯型知識;根據當前歷史和當前數據預測未來數據的預測型知識。當前已經出現了許多知識發現的新技術，其中之一就是可視化方法。數據可視化技術有3個鮮明的特點：第一，與用戶的交互性強。用戶不再是信息傳播中的受者，還可以方便地以交互的方式管理和開發數據。第二，數據顯示的多維性。在可視化的分析下，數據將每一維的值分類、排序、組合和顯示，這樣就可以看到表示對象或事件的數據的多個屬性或變量。第三，最直觀的可視性特點。數據可以用圖像、曲線、二維圖形、三維體和動畫來顯示,并可對其模式和相互關系進行可視化分析。

　　2.數據挖掘算法。

數據挖掘是指數據庫中的知識發現，其歷史可以追溯到1989年美國底特律市召開的第一屆KDD國際學術會議上，而第一屆知識發現和數據挖掘(Data Mining，DM)國際學術會議是1995年加拿大召開的，會議上將數據庫里存放的數據生動地比擬成礦床，從而“數據挖掘”這個名詞很快就流傳開來。數據挖掘的目的是在雜亂無章的數據庫中，從大量數據中找到有用的、合適的數據，并將其隱含的、不為人知的潛在價值的信息揭示出來的過程。事實上，數據挖掘只是整個KDD過程中的一個步驟。

數據挖掘的定義沒有統一的說法，其中“數據挖掘是一個從不完整的、不明確的、大量的并且包含噪聲的具有很大隨機性的實際應用數據中，提取出隱含其中、事先未被人們獲知、卻潛在有用的知識或模式的過程”是被廣泛接受的定義。事實上，該定義中所包含的信息——大量真實的數據源包含著噪聲;滿足用戶的需求的新知識;被理解接受的而且有效運用的知識;挖掘出的知識并不要求適用于所有領域，可以僅支持某個特定的應用發現問題。以上這些特點都表現了它對數據處理的作用，在有效處理海量且無序的數據時，還能夠發現隱藏在這些數據中的有用的知識，最終為決策服務。從技術這個角度來說，數據挖掘就是利用一系列相關算法和技術從大量的數據中提取出為人們所需要的信息和知識，隱藏在數據背后的知識，可以以概念、模式、規律和規則等形式呈現出來。

　　3.預測性分析能力。

預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。大數據分析最終要實現的應用領域之一就是預測性分析，可視化分析和數據挖掘都是前期鋪墊工作，只要在大數據中挖掘出信息的特點與聯系，就可以建立科學的數據模型，通過模型帶入新的數據，從而預測未來的數據。作為數據挖掘的一個子集，內存計算效率驅動預測分析，帶來實時分析和洞察力，使實時事務數據流得到更快速的處理。實時事務的數據處理模式能夠加強企業對信息的監控，也便于企業的業務管理和信息更新流通。此外，大數據的預測分析能力，能夠幫助企業分析未來的數據信息，有效規避風險。在通過大數據的預測性分析之后，無論是個人還是企業，都可以比之前更好地理解和管理大數據。

盡管當前大數據的發展趨勢良好，但網絡大數據對于存儲系統、傳輸系統和計算系統都提出了很多苛刻的要求，現有的數據中心技術很難滿足網絡大數據的需求。因此，科學技術的進步與發展對大數據的支持起著重要的作用，大數據的革命需要考慮對IT行業進行革命性的重構。網絡大數據平臺(包括計算平臺、傳輸平臺、存儲平臺等)是網絡大數據技術鏈條中的瓶頸，特別是網絡大數據的高速傳輸，需要革命性的新技術。此外，既然在大數據時代，任何數據都是有價值的，那么這些有價值的數據就成為了賣點，導致爭奪和侵害的發生。事實上，只要有數據，就必然存在安全與隱私的問題。隨著大數據時代的到來，網絡數據的增多，使得個人數據面臨著重大的風險和威脅，因此，網絡需要制定更多合理的規定以保證網絡環境的安全。