機器學習-大數據的關鍵_數據分析師

Splunk的用戶大會已經接近尾聲。三天時間的會議里，共進行了160多個主題研討，涵蓋了從安全、運營到商業智能，甚至包括物聯網，會議中一遍又一遍出現相同的中心主題：大數據的關鍵是機器學習。
 
存儲不再是一個問題。從運行Hadoop兼容節點的專用存儲硬件，到數百臺使用普通硬盤的計算機組成的集群，毫無疑問，我們具備了處理這類存儲問題的能力。另一方面，像Splunk這樣的分析和可視化工具也應運而生。如果你知道你要找什么，這些工具可以很快給你所需要的答案。
 
但是，你應該找什么呢?對于絕大多數的基層供應商來說，問題的答案就在機器學習里面。無論你是在談論網絡流量、用戶行為，或者是消費趨勢，這都不要緊，你能真正洞察你所監控的東西的方式是找到數據中的模式和相關性。雖然人類操作員可以通過試錯法蹣跚而行，但他們相信，可以通過訓練計算機來得到結果，并且速度更快和不帶偏見。
 
當然，這并不是說人類已經過時。必須有人來確認相關性不只是種巧合，并找出對信息采取行動的方法。而這也正是前面所提到的可視化工具可以發揮作用的地方。
 
大數據和機器學習的主要用例
 
雖然大數據的潛力幾乎是無限的，但不可避免的是一或兩個行業會在前面帶頭沖鋒。如果再過一年問我，我可能會說不同的話，但現在的預測是，無論是安全還是運營，都會處在第一線。
 
只要比那些只收現金的咖啡亭大的公司，都需要考慮信息的安全性。即使他們沒有知識產權可言，但他們都在處理一些敏感信息，如信用卡號碼。有方法可以可靠地檢測和阻止那些正在發生的違約行為，對公司的長期成功是至關重要的?；?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機器學習的安全產品承諾提供這種能力，并且它的易用性接近“交鑰匙工程的水準。
 
與此類似，運營分析將會流行起來?，F在你就可以買到工具來監視你的網絡，解碼數據包，或向你精確呈現一個給定的REST調用是如何經過服務器的中間層一路到達數據庫或文件系統的，然后把它和一周，一個月或一年以前的行為做對比。這不是未來的概念，而是今天現成的東西，并可以在一周內運行起來。
 
其它領域的研究將會繼續下去，但不會有如此快的速度。欺詐檢測是非常重要的，但大多數公司會依靠他們的金融機構來設計和實施必要的控制措施。我預計在這方面不會有太多商業化的、現成的產品。
 
商業智能是另一個會看到大量金錢投入的研究領域。但可口可樂與百事可樂公司用來確定下一個流行口味的算法，看起來一點也不像通用和福特公司用來預測每種尺寸的車型會有多少量的算法。如此類推，商業化產品對大數據的運用目前可能會主要局限于基本的分析和可視化方面。
 
其他的會議思考
 
總而言之，Splunk舉辦了一次非常好的會議。一切都組織得很好，每個人，從初學者到最高級的數據挖掘工程師，都會有相關的議題研討。我唯一的抱怨是，議題研討沒有記錄。因為有這么多的內容，人們勢必會因為沖突錯過一兩個重要的議題。
 
即使你對Splunk本身不感興趣，但對大數據、機器學習以及相關主題感興趣的任何人來說，這都是一次重要的會議。