大數據分析的未來是怎樣的

本節探討未來的大數據分析的技術前景。

要探討的一件有趣的事情是在Apache Tez 之上實現機器學習算法。這里要解決的問題在于是否存在幫助實現迭代式機器學習的有向無環圖執行器。主要的挑戰是停止/結束條件不能是靜態的，而只能在運行時。這一點已在最近由Eurosys 提出的Optimus 系統（Ke 等，2013）中探討過，該系統提供了一個在DryadLINQ 上實現機器學習算法的途徑。

另一件需要引起注意的有趣工作是來自斯坦福大學的Forge 系統（Sujeeth 等，2013）。Forge 提供了一種領域特定元語言（DSL），該語言允許用戶為不同領域指定DSL。DSL 概念（Chafi 等，2011）的引入可作為分布式系統的替代手段——這是從程序員以及高效實現的領悟中抽象出來的。Forge 也有為機器學習提供的特定DSL，稱作OptiML。Forge 既有單純的Scala 實現（用于原型機）也有高效并行的分布式實現，后者可以部署在集群環境（用于生產環境）。Forge 使用Delite 框架（Brown 等，2011）實現了后者的一部分。性能測試顯示，由Forge 在集群節點上自動生成的分布式實現相當于用Spark 實現的等價功能的40 倍性能，它也表達了Spark 仍然有優化的可能性——這一點值得做更進一步的探討。

大數據方面的深度學習仍然是這一領域的圣杯。近期來自谷歌的論文顯示已取得一定進展（Dean 等，2012）。這篇論文展示了兩種訓練算法，多點同時隨機梯度下降算法和集群多節點L-BGFS，用于訓練深度神經網絡。核心思想是共享參數服務器用于多模型副本并行訓練。盡管參數服務器在訓練時是共享的，分片本身也會成為單點故障。一個可能的改進是在它們之間覆蓋網絡，作為通信的對等集合查看參數服務器，就像OpenDHT 或Pastry。這樣參數服務器就實現了容錯，甚至提升了性能。

使用前面章節介紹過的七大任務的目的是需要描述為機器學習這類計算并識別在大數據世界里當前實現的差距。就任務6、7 的實現而言，它們之間在集成方面就有差距（在處理數據方面的整合工作上），可能要求馬爾科夫鏈的蒙特卡羅（MCMC）實現，正如在第1 章解釋過的。MCMC 在Hadoop上是出名的難以實現。Spark 可能是最理想的。類似的，任務7（比對問題）可能要求隱馬爾科夫模型（HMM）實現，這一點就是另一個領域的討論了——實現了隱馬爾科夫模型的大數據。應用包括圖像的重復數據刪除（比如，在Aadhaar 工程中——印度的身份項目，要求從存儲的數以億計的圖像中找出重復的照片）。

D-wave 量子計算機已被安裝在量子人工智能（AI）實驗室（由NASA、谷歌，以及大學空間研究協會聯合運行）。這一舉措的根本目的是用量子方法探討難以解決的問題（任務5）。谷歌還聘請了一些人工智能研究人員，比如Ray Kurzweil。這一系列的舉措的圣杯是量子機器學習，可能會有人使用這一術語。而它已被麻省理工學院的Seth Lyod 在量子計算國際會議中提出。他的工作是使用量子比特檢索（Qbit，量子比特）。在大數據集環境下它可以快速給出結果，同時又拋出了另外的有趣問題：隱私。量子比特不能在傳輸過程中窺探——窺探會影響量子比特狀態。當然這是一個值得深入探索的領域。

分析領域的另一項有趣進展是基于磁盤的單節點分析——與云/分布式的趨勢背道而馳。由GraphLab 的創建者發表的GraphChi 的論文（Kyrola 等，2012）提出了例證。GraphChi提供了一種處理磁盤上的大型圖的機制。對于Twitter-2010 圖型的三角形計數，它們表現為單節點低于90 分鐘的性能，而相同功能的Hadoop 實現卻要在一個分布式環境下的1400 個工作進程花費400 分鐘。GraphChi 采用一系列外存算法和并行滑動窗口的方式異步處理磁盤上的大型圖。2013 年10 月，在紐約的一次Strata 會議中，Sisense，一家小的初創公司，展示了他單節點10 秒鐘內處理10TB 數據的能力，而全部花費不到10,000 美元。探索GraphChi 在分布式環境中的應用會很有趣——它可能會提供快速處理巨型圖的能力。

另一個有趣的趨勢是大數據、移動設備和云端在物聯網（IoT）的支持下的整合。對于大數據架構/研究，這里蘊藏著巨大的機遇，因為通過物聯網有更多來自用戶的有效數據，同時還提供了數據分析的溫床。通過云端的大量大數據平臺，云端已與大數據做了很大程度上的整合。IoT 與大數據云的整合可能是一個可預見的趨勢。