2015年大數據分析的三大發展趨勢_數據分析師考試

Intuit數據工程副主管Loconzolo和SmarterRemarketer首席數據科學家DeanAbbott二人一致認為,大數據與分析學前沿是個活動目標，這一領域包含了儲存原始數據的數據湖和云計算。盡管這些技術并未成熟，但等待也并非上策。

Loconzolo表示：“現實的情況是，這些工具都剛剛興起，他們構筑的平臺還不足以讓企業依賴。但是，大數據和分析學等學科發展十分迅速，因此企業必須努力跟上，否則就有被甩掉的危險?！彼€說：“過去，新興技術往往需要十年左右的時間才能夠成熟，但是現在大大不同了，人們幾個月甚至幾周時間就能想出解決方案?！蹦敲?，有哪些新興技術是我們應該關注，或者說科研人員正在重點研究的呢?讓一些IT精英、咨詢師和行業分析專家，來看看他們列出的三大趨勢吧。

大數據湖泊

美國普華永道首席技術專家ChrisCurran說，傳統數據庫理論認為，人們應該先設計數據集，然后再將數據輸入進去。而“數據湖泊“，也被稱作“企業數據湖泊”或者“企業數據中心”，顛覆了這個理念?！艾F在，我們先收集數據，然后把它們都存入Hadoop倉庫里，我們不必事先設計數據模型了?！边@個數據湖泊不僅為人們提供了分析數據的工具，而且很明確地告訴你，這里有什么樣的數據。Curran還表示，運用Hadoop的過程中人們就可以增加對數據的認識。這是一個遞增的、有機的大規模數據庫。當然，這樣一來，對使用者的技術要求相應地會比較高。

Loconzolo表示，Intuit擁有自己的數據湖泊，這個數據湖里既有用戶點擊量的數據，也有企業和第三方的數據，所有這些都是Intuit分析云端的一部分，但關鍵是要讓圍繞這個數據湖的工具能夠為人們有效利用起來。Loconzolo還說，對于在Hadoop建立數據湖，一個需要考慮的問題是，這個平臺并沒有完完全全的為企業的需求設置周全?！拔覀冞€需要傳統企業數據庫已經有了幾十年的一些功能，比如監控訪問控制、加密、安全性以及能夠從源頭到去向地追蹤數據等等。

深度學習

Hopkins認為，作為一種基于神經網絡的機械學習技術，雖然還在發展過程中，但在解決問題方面卻已經表現出巨大的潛力?！?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學習……能夠讓計算機在大量非結構化和二進制的數據中識別出有用信息，而且它能夠在不需要特殊模型和程序指令的前提下就剔除那些不必要的關系?！?/span>

舉個例子說明：一個深度學習的算法通過維基百科了解到加利福尼亞和德克薩斯是美國的兩個州?！拔覀儾辉谛枰ㄟ^模式化讓程序去理解州和國家的概念，這就是原來的機械學習和新興深度學習的區別之一?！?/span>

Hopkins還說道：“大數據運用先進的分析技術，例如深度分析，來處理各種各樣的非結構文本，這些處理問題的思路和方式，我們也是現在才開始理解?！北热?，深度學習可以用來識別各種各樣不同的數據，比如形狀、顏色和錄像中的物體，甚至是圖片中的貓—谷歌建立的神經網絡就做到了這一點?！斑@項技術所昭示的認知理念、先進的分析，將是未來的一個趨勢?！?/span>

內存中分析

Beyer表示，利用內存中數據庫來提升分析處理速度，這種方式已經越來越廣泛，而且只要運用得當，益處也很多。事實上，很多企業現在已經在利用HTAP(hybridtransaction/analyticalprocessing)了，這種處理方式能在同一個內存數據庫中進行轉換和分析處理。但Beyer同時也表示，對于HTAP的宣傳有些過頭了，很多公司也過度利用這項技術。對于那些使用者需要每天多次以同樣的方式看同樣數據的系統來說，這樣的數據沒有太大變化，這時用內存中分析就是一種浪費了。

雖然有了HTAP的幫助，人們分析速度更快了，但是，所有的轉換都必須儲存在同一個數據庫里。Beyer認為，這樣的特點就產生了一個問題，分析師們目前的工作主要是把不同地方的數據匯總輸入到同一個數據庫當中去?！叭绻阆胱鋈魏畏治龆歼\用HTAP，所有的數據就得存在同一個地方。要把多樣化的數據進行整合?！?/span>

然而，引入內存數據庫的同時也意味著，還有另一個產品等著我們去管理、維護、整合與權衡。

對于Intuit而言，他們已經在使用Spark了，所以對引進內存數據庫的愿望并沒有那么強烈。Loconzolo說：“如果我們用Spark就能處理70%的問題，而用內存數據庫可以解決100%，那么我們還會選擇前者。所以我們現在也在權衡，要不要馬上停用內部的內存數據系統。