關于大數據:CIO需要知道的五件事

企業大數據分析始于谷歌、雅虎和Twitter等互聯網公司，與這些互聯網公司類似，傳統企業也迫切需要挖掘用戶數據的價值，提高企業的競爭力和決策質量。以下是關于大數據CIO需要了解的五件事：

一、大數據的商業價值。

今天，大數據分析所需的數據源和數據已經極大豐富并且在高速增長中，即使你是一家小企業，也可能會擁有大數據，一家小的對沖基金公司可能擁有數以TB計的數據，根據麥肯錫公司的一份報告，未來幾年，包括醫療、公共服務、零售和制造業的企業都將從大數據分析中受益。

Hortonworks的首席技術官Eric Baldeschwieler認為，大家一提到大數據部署就想到Hadoop，Hadoop方案確實適用于各種客戶：通過收集、分析交易數據，企業能更好地了解客戶的需求和傾向，同時也能優化產品和服務創新，更快響應和處置緊急問題。

二、大數據的來源。

有些CIO會認為企業里的數據還不夠多，不足以構成大數據分析，其實數據就像海綿里的水，只要你愿意擠。Baldeschwieler認為很多時候大數據通常就是那些被丟棄到垃圾堆和回收站里的“垃圾”數據。

比方說，你的服務器日志就是很好的大數據分析素材。服務器記錄所有訪問你網站的訪客和他們的訪問行為。跟蹤分析這些數據你將知道客戶正在找什么，雖然日志數據分析不是什么新鮮事了，但其實分析的“粒度”還可以進一步精細到你之前無法想象的程度。

大數據的另一個重要來源是傳感器，業界分析師已經鼓吹了多年的物聯網，其實物聯網說白了就是通過傳感器把物理世界給數字化了，接入互聯網的大量傳感器將產生持續的大數據流，智能交通、智能電網甚至智能家電都將是大數據源，分析這些數據能大大提升相關企業的運營效率和決策質量。

三、大數據需要新型人才。

根據Forrester Research的分析師James Kobielus認為：當部署完大數據分析系統后，企業接下來面對的最大挑戰就是找到合適的人才使用這個系統分析數據。大數據非常依賴數據建模，企業需要補充各種類型的“數據科學家”，例如統計模型師、文本挖掘專家以及語義分析領域的專家。這些數據科學家需要具備的新技能與過去的商業智能專家的技能還有所不同。

大數據人才目前嚴重短缺，根據麥肯錫的報告，到2018年，美國市場還將短缺14-19萬名高級數據分析人才，以及150萬懂得使用大數據分析進行決策的經理人和分析師。

CIO需要具備的另外一個大數據技能是整合大量硬件來存儲和分析數據，你可能還需要從當地大學或者研究機構招聘一些超級計算機管理員。

四、大數據無需事先規劃。

那些習慣縝密規劃企業數據倉庫數據（EDW）的CIO看到這里應該松口氣，大數據的優勢就是可以先收集，再考慮如何分析。

在數據倉庫中，你必須在導入數據前先制定好數據架構。這意味著在導入數據前你必須知道你要什么，因為你在壓縮數據的時候也會損失粒度，而且如果你改變主意了，或者想進行歷史分析，這些數據架構就成了你給自己設置的障礙。

而大數據的存儲庫可以看做是一個大的垃圾場，你可以先把各種數據一窩蜂堆進去，然后再進行分析，很多企業在大數據分析之前都不是很清楚他們能發現什么，因此大數據在數據導入上的自由對于企業應用而言有著非同一般的意義。

五、大數據不僅僅是Hadoop。

人們一說到大數據，就會提到Hadoop數據分析平臺，Hadoop確實炙手可熱，很多企業都在Hadoop方案上投入資金和人力，但實際上你還有其他軟件選擇。

法務研究機構巨頭LexusNexus最近就無私地開源了其分析平臺——HPCC系統。MarkLogic也公開了其非結構化數據庫MarkLogic Server，可用于大數據分析。此外，Splunk的搜索引擎也在獲得關注，可以用于搜索和分析機器數據，例如服務器日志。無論你希望從日志中提取何種數據，Splunk都很有可能幫上忙。