存一份備用：大數據分析工具采購指南

大數據分析工具使用戶能夠分析各種各樣的信息——包括結構化事務數據和社交媒體帖子、Web服務器日志文件及其他形式的非結構化和半結構化數據。一旦組織決定要購買一個大數據分析工具，下一步就是制定一個流程，評估可用的產品，然后從中找到一個最適合你需求和要求的產品。

下面我們將介紹在評估各種大數據分析工具符合企業需求的程度時可能用到的必備特性和特定屬性。然后，你再編寫一個預案請求（RFP），說明使用這些工具將如何解決組織的需求。

評估標準

建模技術的廣度與深度。供應商已經應用了不同級別的建模，并且相應地開發了不同復雜度的分析功能。單個工具支持的分析建模廣度反應了所提供的不同方法。其中一些例子包括回歸技術、根據過去趨勢預測變化值的時間序列模型、分類與回歸樹（也稱為CART）和神經網絡。

建模技術的深度反映了所使用方法的兩個方面特征：支持更精準開發模型的算法成熟度和建模技術的靈活性。換而言之，數據挖掘和預測分析時需要使用哪一種級別的專業知識才能理解目前能夠開發哪一些類別的模型及如何使用一個特定工具完成建模？

經驗一般的數據分析師感興趣的是提供大量分析功能的供應商產品，而更專業的分析師和統計師則更偏好于那些能夠更深入分析特定分析模型的工具。

集成與可訪問性。大數據分析應用通常依賴于越來越多的內部和外部數據源，其中包括結構化和非結構化數據。這促成了支持數據可訪問性和系統集成的功能需求。這個方面要考慮的特性有：

非結構化數據使用率。確認產品能夠使用不同類型的非結構化數據（文檔、電子郵件、圖像、視頻、演示文稿、社交媒體渠道信息等），并且能夠解析和利用收到的信息。

大數據可訪問性。對比供應商工具連接大數據架構的方式，其中包括存儲在Hadoop的分布式數據，以及各種橫向擴展存儲中存儲的文件（例如，MongoDB或Apache Cassandra等NoSQL數據）。

與現有平臺組件的互操作性。如果要在一些傳統數據管理和BI技術中混搭分析方法，那么這一點非常重要。例如，許多分析工具支持通過傳統的SQL查詢去調用分析模型。這種形式的互操作性允許使用預測模型的結構去產生一些傳統數據分析師通常都能使用的查詢與報表。

連接性。一定要評估連接性，或者說產品訪問其他系統的能力，以及作為數據源給現有平臺提供用于生成報表和分析的能力。

易用性。有一些大數據分析產品是供應商從零開始開發的，而有一些則基于開源的R統計語言。無論是哪一種情況，這種評估類別主要關注于產品用于分析數據、開發模型和確定模型有效性與準確性的易用性。

業務分析師可用性。沒有統計背景的商業分析師是否也能夠輕松地開發分析和應用呢？確定產品是否提供了方便開發和分析的可視化方法。

部署不同業務用例的靈活性。相同的算法方法可以應用到許多不同行業的不同業務場景中。如果你的組織準備做的這類分析數量有限，并且集中在更為普通的用例上（如客戶生命周期價值分析、欺騙行為分析或存留預防），那么你可能應該在技術選擇犧牲一些靈活性。然而，如果你的組織想要一種廣度更大、約束更小的分析方法，則應該尋找一些靈活性更高的建模技術。

模型評分。這包括一些額外工具，它們可以幫助分析師自動比較準確性、有效性和不同預測模型用于相似業務場景時的預測價值。

協同性。隔離分析與開發可能導致重復工作和不協調的結果。提供一種集成協同功能和在大數據分析平臺中分享分析模型的手段，使分析師可以協同工作，共同優化他們的應用程序及將來重用相同的模型，從而能夠降低開發成本和提高一致性。

大數據分析工具的系統管理功能

接下來要考慮將一項新技術整合到組織中的實踐環節。管理與配置的簡單性評估包括理解所有的系統需求及安裝、配置和持續管理的依賴條件。例如，使用R統計模型的大數據分析工具要求在安裝產品時同時購買和安裝R環境。此外，還需要確定產品可能安裝的平臺，以及確定能夠嵌入已開發模型和應用的平臺。

其他考慮因素包括分析流程與將已開發模型加入到業務應用過程中分配角色和訪問權限等安全問題。分析產品所提供的身份驗證、授權和訪問控制等選項。

性能

大多數高端Hadoop平臺和專業設備在設計上都支持多個并行處理和分布式計算的計算節點。如果要求較高的運行性能，那么很重要的一點是所評估的產品是否支持大規模并行處理（MPP）系統配置。

使用MPP平臺要求使用一組特定的工具才能高效地使用平臺的性能優化機制，其中包括：

平等性和數據分發。如果要用并行進程獨立處理分布式的數據集，并且要求減小網絡帶寬和增大數據存儲位置，那么最適合使用數據并行系統。要檢查產品的并行性是否能很好地吻合數據分發策略。

產品的下推功能。它使分析算法能夠利用系統軟件堆中其他組件的內在功能。例如，如果有一個數據庫管理系統在其工具集內部提供了支持參數定制的建模工具，并且這些工具本身就經過優化和支持DBMS的架構特性。在這種情況下，分析工具最好要使用原生功能，而不要嘗試替換這些功能。

可擴展性和可伸縮性。隨著數據量的不斷增長和數據管理平臺的不斷擴展，要評估不同的分析產品如何跟隨處理與存儲容量的增長而增長。

大數據分析工具的費用

在使用大數據技術的大部分案例中，產品的價格必須影響購買決策。有一些大數據分析工具價格昂貴，而有一些則價格較低，甚至是免費的。此外，供應商可能根據不同的定價提供不同的特性、功能或約束（如限制可分析數據容量）。

另一個要注意的問題是特殊服務需求。對于每一個評估的產品，我們都要評估它是否需要軟件供應商或外部專家的幫助，才能完成安裝和培訓，或者提供特殊的開發服務。

此外，一定要考慮所評估的長期總擁有成本（TCO）。TCO計算應該包括年度維護費用和支持該產品的系統軟件堆分攤費用，以及運維人員、數據中心空間、制冷及其他設施的分攤費用。

制定自己的RFP

根據組織的具體用例來過濾出最適合的產品，從而縮小候選供應商范圍。要檢查組織需求與上面的評估類別的關系，制作出一個RFP，其中除了說明關于集成、互操作性和企業明細之外的標準問題，主要關注于量化預期因素的符合程度，如分析建模、數據容量、必要知識水平和數據可訪問性要求等。

確定最重要的差異性因素，如產品隨著數據容量增長的擴展能力和性能，它使用非結構化數據的能力，以及建模功能的廣度和深度。同時，要提出一些反映用戶社區的需求，特別是分析師專業知識水平有差別或者需要企業內部協作的時候。此外，選擇一種大數據分析工具的關鍵影響因素包括它的初始價格、人員要求和總運營成本，提出一些與評估過程相關的費用和預算問題。

說明業務需求并對它按優先級劃分，然后從一組供應商產品中指定預期產品，這樣可以使采購團隊能夠將業務需求與評估類別相關聯。通過檢查上面的列表、定義相關問題和規定可接受答復來配置RFP，從而確定各個特定的產品符合需求的程度。