大數據分析方法解讀以及相關工具介紹

　要知道，大數據已不再是數據大，最重要的現實就是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。

　　越來越多的應用涉及到大數據，這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以，大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素?；诖?，大數據分析方法理論有哪些呢？

　　PredictiveAnalyticCapabilities（預測性分析能力）

　　數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

　　DataQualityandMasterDataManagement（數據質量和數據管理）

　　數據質量和數據管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。

　　AnalyticVisualizations（可視化分析）

　　不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求?？梢暬梢灾庇^的展示數據，讓數據自己說話，讓觀眾聽到結果。

　　SemanticEngines（語義引擎）

　　我們知道由于非結構化數據的多樣性帶來了數據分析的新的挑戰，我們需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從“文檔”中智能提取信息。

　　DataMiningAlgorithms（數據挖掘算法）

　　可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數據內部，挖掘價值。這些算法不僅要處理大數據的量，也要處理大數據的速度。

　　假如大數據真的是下一個重要的技術革新的話，我們最好把精力關注在大數據能給我們帶來的好處，而不僅僅是挑戰。

　　大數據處理數據時代理念的三大轉變：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。具體的大數據處理方法其實有很多，但是根據長時間的實踐，筆者總結了一個基本的大數據處理流程，并且這個流程應該能夠對大家理順大數據的處理有所幫助。整個處理流程可以概括為四步，分別是采集、導入和預處理、統計和分析，以及挖掘。

　　采集

　　大數據的采集是指利用多個數據庫來接收發自客戶端的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型數據庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL數據庫也常用于數據的采集。

　　在大數據的采集過程中，其主要特點和挑戰是并發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們并發的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數據庫才能支撐。并且如何在這些數據庫之間進行負載均衡和分片的確是需要深入的思考和設計。

　　統計/分析

　　統計與分析主要利用分布式數據庫，或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的占用。

　　導入/預處理

　　雖然采集端本身會有很多數據庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鐘的導入量經常會達到百兆，甚至千兆級別。

　　挖掘

　　與前面統計和分析過程不同的是，數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測的效果，從而實現一些高級別數據分析的需求。比較典型算法有用于聚類的K-Means、用于統計學習的SVM和用于分類的Naive Bayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用于挖掘的算法很復雜，并且計算涉及的數據量和計算量都很大，還有，常用數據挖掘算法都以單線程為主。

　　去年，IBM宣布以17億美元收購數據分析公司Netezza；EMC繼收購數據倉庫軟件廠商Greenplum后再次收購集群NAS廠商Isilon；Teradata收購了Aster Data 公司；隨后，惠普收購實時分析平臺Vertica等，這些收購事件指向的是同一個目標市場——大數據。是的，大數據時代已經來臨，大家都在摩拳擦掌，搶占市場先機。

　　而在這里面，最耀眼的明星是hadoop，Hadoop已被公認為是新一代的大數據處理平臺，EMC、IBM、Informatica、Microsoft以及Oracle都紛紛投入了Hadoop的懷抱。對于大數據來說，最重要的還是對于數據的分析，從里面尋找有價值的數據幫助企業作出更好的商業決策。下面，我們就來看以下八大關于大數據分析的工具。

　　Greenplum在2010年被EMC收購了其EMC Greenplum統一分析平臺（UAP）是一款單一軟件平臺，數據團隊和分析團隊可以在該平臺上無縫地共享信息、協作分析，沒必要在不同的孤島上工作，或者在不同的孤島之間轉移數據。正因為如此，UAP包括ECM Greenplum關系數據庫、EMC Greenplum HD Hadoop發行版和EMC Greenplum Chorus。

　　EMC為大數據開發的硬件是模塊化的EMC數據計算設備（DCA），它能夠在一個設備里面運行并擴展Greenplum關系數據庫和Greenplum HD節點。DCA提供了一個共享的指揮中心（Command Center）界面，讓管理員可以監控、管理和配置Greenplum數據庫和Hadoop系統性能及容量。隨著Hadoop平臺日趨成熟，預計分析功能會急劇增加。

　　IBM打組合拳提供BigInsights和BigCloud

　　幾年前，IBM開始在其實驗室嘗試使用Hadoop，但是它在去年將相關產品和服務納入到商業版IBM在去年5月推出了InfoSphere BigI云版本的 InfoSphere BigInsights使組織內的任何用戶都可以做大數據分析。云上的BigInsights軟件可以分析數據庫里的結構化數據和非結構化數據，使決策者能夠迅速將洞察轉化為行動。

　　IBM隨后又在10月通過其智慧云企業（SmartCloud Enterprise）基礎架構，將BigInsights和BigSheets作為一項服務來提供。這項服務分基礎版和企業版；一大賣點就是客戶不必購買支持性硬件，也不需要IT專門知識，就可以學習和試用大數據處理和分析功能。據IBM聲稱，客戶用不了30分鐘就能搭建起Hadoop集群，并將數據轉移到集群里面，數據處理費用是每個集群每小時60美分起價。

　　Informatica 9.1：將大數據的挑戰轉化為大機遇

　　Informatica公司在去年10月則更深入一步，當時它推出了HParser，這是一種針對Hadoop而優化的數據轉換環境。據Informatica聲稱，軟件支持靈活高效地處理Hadoop里面的任何文件格式，為Hadoop開發人員提供了即開即用的解析功能，以便處理復雜而多樣的數據源，包括日志、文檔、二進制數據或層次式數據，以及眾多行業標準格式（如銀行業的NACHA、支付業的SWIFT、金融數據業的FIX和保險業的ACORD）。正如數據庫內處理技術加快了各種分析方法，Informatica同樣將解析代碼添加到Hadoop里面，以便充分利用所有這些處理功能，不久會添加其他的數據處理代碼。

　　Informatica HParser是Informatica B2B Data Exchange家族產品及Informatica平臺的最新補充，旨在滿足從海量無結構數據中提取商業價值的日益增長的需求。去年， Informatica成功地推出了創新的Informatica 9.1 for Big Data，是全球第一個專門為大數據而構建的統一數據集成平臺。

　　甲骨文大數據機——Oracle Big Data Appliance

　　甲骨文的Big Data Appliance集成系統包括Cloudera的Hadoop系統管理軟件和支持服務Apache Hadoop 和Cloudera Manager。甲骨文視Big Data Appliance為包括Exadata、Exalogic和 Exalytics In-Memory Machine的“建造系統”。Oracle大數據機(Oracle Big Data Appliance)，是一個軟、硬件集成系統，在系統中融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個開源R。該大數據機采用Oracle Linux操作系統，并配備Oracle NoSQL數據庫社區版本和Oracle HotSpot Java虛擬機。Big Data Appliance為全架構產品，每個架構864GB存儲，216個CPU內核，648TBRAW存儲，每秒40GB的InifiniBand連接。Big Data Appliance售價45萬美元，每年硬軟件支持費用為12%。

甲骨文Big Data Appliance與EMC Data Computing Appliance匹敵，IBM也曾推出數據分析軟件平臺InfoSphere BigInsights，微軟也宣布在2012年發布Hadoop架構的SQL Server 2012大型數據處理平臺。

　　統計分析方法有哪幾種？下面我們將詳細闡述，并介紹一些常用的統計分析軟件。

　　一、指標對比分析法指標對比分析法

　　統計分析的八種方法一、指標對比分析法指標對比分析法，又稱比較分析法，是統計分析中最常用的方法。是通過有關的指標對比來反映事物數量上差異和變化的方法。有比較才能鑒別。單獨看一些指標，只能說明總體的某些數量特征，得不出什么結論性的認識；一經過比較，如與國外、外單位比，與歷史數據比，與計劃相比，就可以對規模大小、水平高低、速度快慢作出判斷和評價。

　　指標分析對比分析方法可分為靜態比較和動態比較分析。靜態比較是同一時間條件下不同總體指標比較，如不同部門、不同地區、不同國家的比較，也叫橫向比較；動態比較是同一總體條件不同時期指標數值的比較，也叫縱向比較。這兩種方法既可單獨使用，也可結合使用。進行對比分析時，可以單獨使用總量指標或相對指標或平均指標，也可將它們結合起來進行對比。比較的結果可用相對數，如百分數、倍數、系數等，也可用相差的絕對數和相關的百分點（每1％為一個百分點）來表示，即將對比的指標相減。

　　二、分組分析法指標對比分析法

　　分組分析法指標對比分析法對比，但組成統計總體的各單位具有多種特征，這就使得在同一總體范圍內的各單位之間產生了許多差別，統計分析不僅要對總體數量特征和數量關系進行分析，還要深入總體的內部進行分組分析。分組分析法就是根據統計分析的目的要求，把所研究的總體按照一個或者幾個標志劃分為若干個部分，加以整理，進行觀察、分析，以揭示其內在的聯系和規律性。

　　統計分組法的關鍵問題在于正確選擇分組標值和劃分各組界限。

　　三、時間數列及動態分析法

　　時間數列。是將同一指標在時間上變化和發展的一系列數值，按時間先后順序排列，就形成時間數列，又稱動態數列。它能反映社會經濟現象的發展變動情況，通過時間數列的編制和分析，可以找出動態變化規律，為預測未來的發展趨勢提供依據。時間數列可分為絕對數時間數列、相對數時間數列、平均數時間數列。

　　時間數列速度指標。根據絕對數時間數列可以計算的速度指標：有發展速度、增長速度、平均發展速度、平均增長速度。

　　動態分析法。在統計分析中，如果只有孤立的一個時期指標值，是很難作出判斷的。如果編制了時間數列，就可以進行動態分析，反映其發展水平和速度的變化規律。

　　進行動態分析，要注意數列中各個指標具有的可比性?？傮w范圍、指標計算方法、計算價格和計量單位，都應該前后一致。時間間隔一般也要一致，但也可以根據研究目的，采取不同的間隔期，如按歷史時期分。為了消除時間間隔期不同而產生的指標數值不可比，可采用年平均數和年平均發展速度來編制動態數列。此外在統計上，許多綜合指標是采用價值形態來反映實物總量，如國內生產總值、工業總產值、社會商品零售總額等計算不同年份的發展速度時，必須消除價格變動因素的影響，才能正確的反映實物量的變化。也就是說必須用可比價格（如用不變價或用價格指數調整）計算不同年份相同產品的價值，然后才能進行對比。

　　為了觀察我國經濟發展的波動軌跡，可將各年國內生產總值的發展速度編制時間數列，并據以繪制成曲線圖，令人得到直觀認識。

　　四、指數分析法

　　指數是指反映社會經濟現象變動情況的相對數。有廣義和狹義之分。根據指數所研究的范圍不同可以有個體指數、類指數與總指數之分。

　　指數的作用：一是可以綜合反映復雜的社會經濟現象的總體數量變動的方向和程度；二是可以分析某種社會經濟現象的總變動受各因素變動影響的程度，這是一種因素分析法。操作方法是：通過指數體系中的數量關系，假定其他因素不變，來觀察某一因素的變動對總變動的影響。

　　用指數進行因素分析。因素分析就是將研究對象分解為各個因素，把研究對象的總體看成是各因素變動共同的結果，通過對各個因素的分析，對研究對象總變動中各項因素的影響程度進行測定。因素分析按其所研究的對象的統計指標不同可分為對總量指標的變動的因素分析，對平均指標變動的因素分析。

　　五、平衡分析法

　　平衡分析是研究社會經濟現象數量變化對等關系的一種方法。它把對立統一的雙方按其構成要素一一排列起來，給人以整體的概念，以便于全局來觀察它們之間的平衡關系。平衡關系廣泛存在于經濟生活中，大至全國宏觀經濟運行，小至個人經濟收支。平衡種類繁多，如財政平衡表、勞動力平衡表、能源平衡表、國際收支平衡表、投入產出平衡表，等等。平衡分析的作用：一是從數量對等關系上反映社會經濟現象的平衡狀況，分析各種比例關系相適應狀況；二是揭示不平衡的因素和發展潛力；三是利用平衡關系可以從各項已知指標中推算未知的個別指標。

　　六、綜合評價分析

　　社會經濟分析現象往往是錯綜復雜的，社會經濟運行狀況是多種因素綜合作用的結果，而且各個因素的變動方向和變動程度是不同的。如對宏觀經濟運行的評價，涉及生活、分配、流通、消費各個方面；對企業經濟效益的評價，涉及人、財、物合理利用和市場銷售狀況。如果只用單一指標，就難以作出恰當的評價。

　　進行綜合評價包括四個步驟：

　　1.確定評價指標體系，這是綜合評價的基礎和依據。要注意指標體系的全面性和系統性。

　　2.搜集數據，并對不同計量單位的指標數值進行同度量處理?？刹捎孟鄬幚?、函數化處理、標準化處理等方法。

　　3.確定各指標的權數，以保證評價的科學性。根據各個指標所處的地位和對總體影響程度不同，需要對不同指標賦予不同的權數。

　　4.對指標進行匯總，計算綜合分值，并據此作出綜合評價。

　　七、景氣分析

　　經濟波動是客觀存在的，是任何國家都難以完全避免的。如何避免大的經濟波動，保持經濟的穩定發展，一直是各國政府和經濟之專家在宏觀調控和決策中面臨的重要課題，景氣分析正是適應這一要求而產生和發展的。景氣分析是一種綜合評價分析，可分為宏觀經濟景氣分析和企業景氣調查分析。

　　宏觀經濟景氣分析。是國家統計局20世紀80年代后期開始著手建立監測指標體系和評價方法，經過十多年時間和不斷完善，已形成制度，定期提供景氣分析報告，對宏觀經濟運行狀態起到晴雨表和報警器的作用，便于國務院和有關部門及時采取宏觀調控措施。以經常性的小調整，防止經濟的大起大落。

　　企業景氣調查分析。是全國的大中型各類企業中，采取抽樣調查的方法，通過問卷的形式，讓企業負責人回答有關情況判斷和預期。內容分為兩類：一是對宏觀經濟總體的判斷和預期；一是對企業經營狀況的判斷和預期，如產品訂單、原材料購進、價格、存貨、就業、市場需求、固定資產投資等。

　　八、預測分析

　　宏觀經濟決策和微觀經濟決策，不僅需要了解經濟運行中已經發生了的實際情況，而且更需要預見未來將發生的情況。根據已知的過去和現在推測未來，就是預測分析。

　　統計預測屬于定量預測，是以數據分析為主，在預測中結合定性分析。統計預測的方法大致可分為兩類：一類是主要根據指標時間數列自身變化與時間的依存關系進行預測，屬于時間數列分析；另一類是根據指標之間相互影響的因果關系進行預測，屬于回歸分析。

　　預測分析的方法有回歸分析法、滑動平均法、指數平滑法、周期（季節）變化分析和隨機變化分析等。比較復雜的預測分析需要建立計量經濟模型，求解模型中的參數又有許多方法。