大數據的商業應用_數據分析師

大數據(Big data)的浪潮正在席卷神州大地，但企業對如何落地仍然狐疑。2013年8月6日，Splunk公司在北京舉辦了一場“大數據如何落地研討會”，為大數據技術在中國企業的落地帶來了諸多的前沿觀點、可以參考的實施路徑以及豐富的案例。

　　大數據需求強勁

　　在當前全球經濟形勢下行的背景下，中國的經濟形勢也不甚樂觀，但正因為如此，中國企業對挖掘大數據價值的渴求尤為強烈，希望以此提高客戶體驗，促進業務的增長。根據國內市場研究機構計世資訊的研究，2012年中國大數據市場增長率為52.4%，市場規模達到3.2億元。55%的受訪企業表示，計劃在未來一年內部署大數據應用。

　　隨著大數據的發展，其應用場景也越來越多，涵蓋從用戶行為分析到安全監控、輿情監測等等各方面，計世資訊計算機系統研究部總監丁震表示，用戶不僅利用大數據獲取更大的數據價值，還利用它整合內部的工作流程，提高效率和可控性。

　　計世資訊計算機系統研究部總監丁震

　　在發展的過程中，大數據的需求已經從早期的互聯網、電商領域轉向金融、電信、政府、能源等諸多傳統的行業。盡管用戶認為大數據能夠提高決策和數據分析的及時性，但丁震指出，用戶實際應用仍十分謹慎，這其中有用戶認識、案例缺乏、引入新技術的風險和經濟環境等原因。

　　大數據價值：從機器數據開始

　　針對中國用戶的上述困擾，Splunk帶來了一個完整的解決方案。與一些BI(商業智能)、數據倉庫和數據挖掘廠商的新解決方案著眼點不一樣，Splunk產品營銷副總裁Sanjay Mehta認為，大數據的落地，可以從機器數據著手，通過Splunk實時的“引擎”，將已有的數據組織起來，幫助企業提高效率，降低成本。

　　Sanjay Mehta負責開發與規劃Splunk以重點市場為目標的核心產品策略，并將該公司的業務重心引導到了面向大數據。當前不斷擴展的數據源主要包括商業應用程序的數據、機器生成的數據和人為生成的數據，大多數從BI、數據挖掘升級的大數據產品，更多的是關注商業應用程序的數據和認為生成的數據，機器數據則往往被忽略，但Splunk注意到了這個層面。

　　Splunk產品營銷副總裁Sanjay Mehta

　　Splunk定義的機器數據，包括了文件或者文件目錄、syslog、Windows事件日志、Windows注冊表、Windows性能指標、Unix/Linux日志和指標、文件完整性監視、配置文件、OPSEC LEA、Cisco設備日志、IIS日志、Apache日志、WebSphere日志/指標和其他數據、以及任何其他數據。

　　可以說，本來就存在的機器數據是一團亂糟糟，且不同種類的機器數據相互不能通氣，發揮的作用非常有限，但通過整合的大數據技術，對機器數據的收集、存儲、分析和展現，其結果在應用程序管理、IT運維管理、安全及合規、web情報、業務分析和行業數據等多個方面，都有廣泛的應用價值。

　　Sanjay Mehta介紹了Splunk的一系列的案例，例如，幫助百事公司實現了實時運營可視化，百事公司銷售人員使用Splunk手持終端了解銷售狀況，可以看到銷售實時數據，以確保其銷售工作的效果和效率，所有的數據來源都是通過基礎架構而來，而非關系型數據庫;幫助salesforce.com實現全商務領域運營情報，將問題解決率提高96%，為其10多萬家客戶提供更好的體驗……

　　此外，Sanjay Mehta還分享了Splunk產品用于從電梯運行數據監控中獲得預測信息、通過醫療設備更好地了解患者狀況以及分析建筑物感應器，以降低能源成本等應用場景。

　　國內的上海天旦網絡(Netis)和北京華夏威科軟件技術有限公司的代表分別在現場介紹了Splunk大數據技術在不同行業的應用。

　　上海天旦介紹了Splunk在一個網上支付平臺的運維管理工作的支持。華夏威科Splunk產品經理王文雅表示，在國內某大型銀行，通過單一的Splunk平臺，跨平臺收集不同格式的日志，對每天20G的數據進行收集、管理、實時展示分析，以及建立關聯、歷史數據比對等等，大大提高了IT人員對企業環境的可見性。而這一切的工作，Splunk Index Server僅僅需要使用2臺4個CPU、4G內存的虛擬機(VM)來支持。

　　當然，Splunk的案例還有很多。截至目前，Splunk的客戶數量超過了5600家，分布在全球90多個國家。

　　其中，中移動、中電信、招行、交行、廣發、聯想、東航、支付寶和國美在線等是Splunk在中國地區的主要客戶——同樣覆蓋了電信、金融、能源、互聯網等多個行業。

　　憑借技術積累和服務經驗，Splunk在大數據的浪潮到來之際，于2012年4月19日在納斯達克成功上市，2013財年收益達到1989億美元，年復合增長率為91%。此前，還曾傳出IBM欲收購Splunk的傳聞。

　　Splunk：技術保證效果

　　Splunk為何能夠適用于如此廣泛的應用場景？Splunk高級銷售工程師崔玥為我們揭秘了Splunk產品背后的技術特色。

　　Splunk高級銷售工程師崔玥

　　崔玥表示，Splunk的本質是一個針對機器數據的搜索引擎，針對所有IT系統和基礎設施數據，提供數據搜索、數據報表和可視化的展現。當然，作為一款軟件，它幾分鐘就可以完成下載和安裝，支持各種主流的操作系統平臺。

　　作為一個完全整合的大數據解決方案，Splunk通用的引擎能夠將任何的機器數據廣泛地索引，并支持任何格式的數據，而無需進行格式轉換;實時的搜索引擎，帶來了類似于Google的快速搜索結果;而其自主開發的類似于MapReduce的分布式架構，為系統的可擴展性提供了保證，能夠輕松擴展到支持每天新增上百TB的數據，配合基于角色的數據訪問控制，還能夠跨多個數據中心運行。

　　由于架構設計的優勢，Splunk在提供高可擴展性、易用性和廣泛適用性的同時，對硬件的需求卻幾乎沒有門檻，前述的銀行案例可以證明。

　　值得一提的是，通過Splunk今年6月份發布的Hunk產品，組織機構還能夠更快速、更簡單地探索、分析、可視化和分享存儲在Hadoop中的數據。