利用大數據技術進行圖像處理

近幾年涌現出很多處理大型圖對象的技術，其中有兩類系統值得考慮：一是針對OLTP工作負載，能夠快速低延遲訪問小部分圖數據的圖數據庫。二是針對OLAP工作負載，能夠對圖對象中的大部分數據進行批處理的圖處理引擎。

知名的圖數據庫已有很多，但最近仍涌現出幾個標新立異的項目。 Neo4j算是最老牌、最成熟的圖數據庫之一，但因不支持分片而依然存在可伸縮性的問題。另一個非常年輕的品牌是Titan，卻在2013年成為非常流行的數據庫。作為后端無關的圖數據庫，它支持HBase和Cassandra的可伸縮架構，并且如2013年的一篇博文所報道的，它在內部使用了一套優化的頂點和邊表示法以使其能處理幾十億個邊對象。

但你不必非要使用圖特定數據庫，更通用可伸縮的NoSQL數據庫也是有效的解決方案?；贕oogle BigTable并在2011年開源的Apache Accumulo就是一個通用數據庫的例子，它的數據記錄很靈活，所以也適合存儲大型圖對象，同時還可以用來存儲含有類型化的邊和權重的圖對象，2013年發布的一份技術報告表明NSA也在使用它。Cassandra或者Aerospike則是另一種數據庫，它們能通過適當的數據模型，給圖對象高效地建模。Facebook也構建了自己的解決方案，他們在被稱為Tao的系統中使用了MySQL和Memcache組合，并正在使用這一方案為其用戶提供社區圖服務。

項目應用實踐

基于上述理論和開源探索，下面以一個我們的應用 “圖像信息識別獲取大數據的分析預測系統”來進行具體描述，其中使用了圖像處理和大數據的相關技術。

“圖像信息識別獲取大數據的分析預測系統”系統的目的是根據大量源數據，圖片、文檔、視頻等信息，通過圖像處理的手段，自動獲取大量數據，并將信息入庫。根據建立的數據庫，訓練預測走勢模型，期望能夠通過輸入前N天的數據走勢，去預測后一天的走勢變化。

系統已實現了圖片文檔的自動識別，獲取所需要信息數據并自動錄入數據庫。根據需要做數據分析，建立數據模型，根據歷史數據預測未來數據。

例如系統自動批量截取網頁中的某一張圖像：

圖1 采集的指數原始圖像

運用圖像識別技術，主要分兩步：

第一步是訓練樣本。樣本的訓練過程如下：

圖2 樣本的訓練過程

第二步，進行圖像識別的處理。處理流程如下：

圖3 圖像識別過程

通過反復訓練和識別處理就能精確獲取指定日期的新聞頭條和平均值的媒體指數以及具體頭條的相關報道條目，并保存到數據庫中。

利用大數據技術和相關算法進行預測計算，下圖中未來的某個點（紅點），根據此點對應日期以前的數據點計算預測未來一天的數據點，系統可以基于數據分析，發揮預測的作用：

圖4 利用大數據進行指數預測

圖像處理讓我們挖掘有價值數據變的更容易，基于大數據的技術支持，讓識別變得主動而聰明。圖像處理和大數據技術將走進普通人的世界，讓我們的生活變得更生動。

結語：數據收集是一個從被動到主動的過程，沒有基礎的技術實力，圖像是好玩不起來的，圖像識別過去大多是建庫識別，深度學習釋放了圖像識別的識別領域。而高級和低級的門檻就在深度學習的研究上。國內雖然起步較晚，但發展的速度非?？?。