大數據工具指南：從選擇到應用_數據分析師培訓

通過部署和使用大數據分析工具，分析流程可以幫助公司提高運營效率，產生新的利潤，獲得競爭優勢。企業可選擇的數據分析應用程序有很多。比如描述性分析善于描述已發生的事情，揭示因果關系。描述性分析主要輸出查詢、報表和歷史數據可視化。

另外，更復雜的預測模型和規范模型可以幫助企業獲得商機，做出影響市場戰略，提升客戶體驗，避免設備故障的決定。在預測分析中，歷史數據集

有了預測分析，歷史數據集可用于分析未來的狀況和行為，規范分析承接預測分析，建議決策者采取某種行為。在很多情況下，先進的分析程序由于處理和數據存儲的需求過高，限制了它的發展，但這些缺點也不是不可克服的。大數據平臺和大數據分析工具的流行，讓預測分析和規范分析也能通過擴展，處理來自廣泛數據源的大量數據集。

大數據分析意味著什么?

本質上，大數據分析工具是能夠支持運行在大數據計算平臺上的預測分析應用程序和規范分析應用程序的軟件產品。一般我們所說的都是基于商業服務器集群，可擴展的分布式存儲和技術的并行處理系統，比如Hadoop和NoSQL數據庫。這些工具可以幫助用戶快速分析大規模數據，有時能做到實時分析。

另外，大數據分析工具提供了使用數據挖掘技術分析數據、發現類型、使用分析模型的框架，來認識和應對特定的數據類型，提高業務流程。例如，大量的運輸數據，交通數據流，天氣數據和供應商歷史數據都可以用不同的數據模型來進行分析，用于優化特定地域內的運輸線路，降低送貨延誤或損壞貨物的風險。

大數據分析工具可以消化廣泛的數據種類，包括結構化數據，比如關系型數據庫中存儲的交易數據，半結構化數據，比如Web服務器或移動應用程序文件，和非結構化數據，比如文本文件、文檔、電子郵件、文本信息和社交媒體信息等。

大數據和高級分析工具

下面來介紹一下大數據分析的廠商，很多廠商提供支持分析流程的大數據平臺和工具，比如數據集成、數據準備和其他類型的數據管理軟件。我們關注能夠滿足下列要求的工具：

能應用高級的分析算法和模型提供分析

以大數據平臺為引擎，比如Hadoop或其他高性能分析系統

能夠適用于多種數據源的結構化和非結構化數據

隨著用于分析模型的數據的增加，能夠實現擴展

分析模型可以，或者已經集成到數據可視化工具

能夠和其他技術集成

另外，工具必須包含必備的一些功能，包括集成算法和支持數據挖掘技術，包括(但不限于)：

集群和細分：把一個大的實體分割擁有共同特征的小團體。比如分析收集來的客戶，確定更細分的目標市場。

分類：把數據組織進預定類別。比如根據細分模型決定客戶改如何進行分類。

恢復：用于恢復從屬變量和一個及一個以上獨立變量之間的關系，幫助決定從屬變量如何根據獨立變量的變化而變化。比如使用地理數據、凈收入、夏日平均溫度和占地面積預測財產的未來走向。

聯合和項目集挖掘：在大數據集中尋找變量之間的相關關系。比如它可以幫助呼叫中心代表提供基于呼叫者客戶細分、關系和投訴類型的更精準的信息。

相似性和聯系：用于非直接的集群算法。相似性積分算法可用于決定備用集群中實體的相似性。

神經網絡：用于機器學習的非直接分析。

這只是預測分析和規范分析的子集。另外，不同的供應商很可能提供不同的算法支持不同的方式。

高級分析市場

高級分析工具市場隨著時間發展不斷進步，不同成熟度的工具類型都可選擇。有些來自歷史悠久的傳統廠商，比如IBM、Oracle和SAS。也有廠商通過收購有一定歷史的工具，增強實力，比如微軟、戴爾、Teradata 和SAP。

一些小公司也提供大數據分析產品，包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner，有時公司會開發自己的算法。其他采用了開源算法R語言，提供預測模型和規范模型能力，或使用開源Weka項目軟件。

第三類產品就是開源技術。之前提到的R語言就是一個例子，還有Hadoop下的Mahout軟件，以及Weka。

在一些情況下，尤其是大廠商，大數據工具往往被打包到大數據套裝中。其他情況下，大數據工具會單獨出售。在后者，客戶需要自己將工具和已有的大數據平臺集成起來。大多數的工具都提供虛擬化界面指導分析流程，比如數據挖掘與發現分析，模型的判斷和積分，與運營環境集成。在大多數情況下，供應商都提供幫助客戶搭建和運行軟件的指導和服務。

誰在使用大數據和高級分析工具?

企業里的一些人著眼于探索設計新型預測性模型，另一些人關注將這些模型嵌入他們的商業流程中，還有一些人想要理解這些工具會給他們的業務帶來什么整體變化。

數據科學家們，他們想使用更復雜的數據類型實現更復雜的分析，熟知如何設計，如何應用基礎模型來評估內在傾向性或偏差。

業務分析師，他們更像是隨性的用戶，想要用數據來實現主動數據發現，或者實現現有信息和部分預測分析的可視化。

企業經理，他們想要了解模型和結論。

IT開發人員，他們為以上所有類用戶提供支持。

所有這些角色通常都會在模型發展生命周期中共同合作。數據科學家將一套大數據集置于無目標分析的條件下，然后觀察那種模式符合商業利益。在與業務分析師一起檢查模型工作方式，并評估出發現的每個模型或模式對于企業存在何種潛在積極效應，企業經理和IT小組這個時候就需要介入，來將模型嵌入或將模型整合進商業流程，或者圍繞該模型設計新流程。

但是從市場角度來說，考慮環繞大數據分析的業務種類是很有趣的。。許多大數據技術的早期用戶都是網絡公司(例如，Google，Yahoo，Facebook，LinkedIn和Netflix)或者分析服務提供商。這些公司都依賴運行性和分析型應用，這些應用需要引入高速數據流來進行處理、分析然后將結果反饋以持續改善表現。

在更為主流的產業中，對于數據擴展的胃口也越來越大，大數據分析也在這些更為普遍的企業人口中找到了位置。在過去，大規模分析平臺的成本因素使得只有超大型公司才能實現。但是，通用型主導的大數據平臺越來越平易近人(如那些通過亞馬遜網頁服務實現的)，而能實現大數據具象呈現的平臺也越來越多，像Hadoop本地一樣不需要大量投資，降低的準入門檻。此外，開放數據集和社交媒體渠道提供的救火管數據供給的可獲取程度為與內部數據集相混合的大規模數據分析準備了原材料。

大型企業可能還是會選擇高端大數據分析工具，但是低成本替代品在更加符合成本效益的平臺上運作，使得中小企業得以評估和啟動大數據分析恒旭，并取得預期的商業發展成果。

現在我們已經分析過了不同類型的工具和他們的用戶，下一步就是要確定怎樣用這些工具為公司謀利?？匆豢磳τ诖髷祿治霾煌咐碌氖褂?，你就能開始理解如何權衡一般大數據分析能力來創造和增加價值。