從頭認識“快數據”_數據分析師

互聯網業務和技術的發展迎來了信息革命新的高潮，所帶來的除了更加高效的生產和消費模式外，還帶來數據的爆炸式增長。移動互聯網和物聯網浪潮下的數據規模與產生速度更是前所未有地加快，相應產生的數據存儲、處理、分析、展示的技術與工具也層出不窮。傳統企業已經具備對現有系統流程和數據比較成熟的生產和獲取方式，然而如何對曾經被忽視和丟棄的數據，利用分布式、基于內存等新型技術，同時整合企業現有數據和分析結果來實現業務創新和增強，是急需解決的問題。

大數據的初始階段，價值往往呈現出稀疏的特點，企業常常需要“沙里淘金”。在當今時代，存儲海量數據的成本雖然已經降低，但從海量數據中獲取價值卻是昂貴的，而要及時獲取價值則更加昂貴。因此，越來越多的企業選擇構建大數據實時計算框架，以期從中獲得實時的數據洞見，“快數據”的概念也因此應運而生。

什么是快數據？

大數據的概念本身比較抽象，一個比較有代表性的是 4V 定義,即認為大數據需滿足4個特點：規模性(Volume)、多樣性(Variety)、高速性(Velocity) 和價值性 (Value)。而快數據則是為了實現高速性(Velocity)而產生的?！翱臁眮碜砸恍┍娝苤姆▌t：時間就是金錢，數據的價值也具有時效性，數據的價值隨著時間折舊越快。下表給出了不同業務處理數據快慢的比較。

從數據分析的技術實現視角分析，目前的大數據處理可以分為如下三個類型：

復雜的批量數據處理（batch processing），常見的實現框架如Hadoop/Mapreduce，數據處理的時間跨度在數十分鐘到數小時之間。

增強的歷史數據的交互式查詢（inter-active query），常見的實現框架如Dremel/Impala，數據處理的時間跨度在數十秒到數分鐘之間。

基于實時事件數據流的數據處理（event streaming processing），常見的實現框架如Oracle CEP、Strom。數據處理的時間跨度在數百毫秒到數秒之間。

以上的三種方式，最符合快數據定義的是第三種?；趯崟r事件數據流的數據處理不光是能夠提供更快的數據處理效率，而是采用了一種完全不同于離線批處理的模式。這兩種處理模式，批處理(Batch Processing)是先存儲后處理(Store-then-process),而流處理則是直接處理(Straight-through processing)。這兩種處理模式相輔相成，在企業構建大數據處理框架時都非常重要。一些成熟的企業在處理數據時，會把數據處理服務分成幾層。一方面是重要程度，一方面是處理時效要求,比如“快數據緊急”、“快數據不緊急”和“慢數據重要”等?？鞌祿谋举|上意味著數據處理接近實時決策的能力，改善業務決策所花費的時間，流處理模式則給系統業務創新帶來了更多的想象空間和創新空間。

快數據有怎樣的應用場景？

人類社會的數據產生方式大致經歷了3個階段，正是數據產生方式的巨大變化才最終導致大數據的產生：

1、運營式系統階段。數據的產生大都為運營系統產生，數據也大都是運營相關的數據。這種數據的產生特點是被動的。

2、用戶創造內容階段?；ヂ摼W的發展尤其是電子商務和Web2.0的發展帶來數據新的爆發階段?；ヂ摼W電子商務的發展產生了大量的用戶行為數據，這完全不同于被動式運營系統所產生的數據。Web2.0的最重要標志就是用戶原創內容(UGC, User Generated Content)。這個階段數據的產生特點是主動的。

3、感知式系統階段。今天我們正處于這個階段的起點。這個階段產生的核心原因在于移動互聯網和物聯網的發展興起。隨著技術的發展, 智能手機、可穿戴設備以及微小的帶有處理功能的傳感器日益成熟，各種原來“死”的設備，現在都能自動生成、采集數據，就連我們人類，也因為攜帶智能設備，每一次位置變化和設備使用都會產生大量可用于分析的數據。這種數據的產生特點是自動的。

簡單來說,數據產生歷了被動、主動和自動三個階段。這些被動、主動和自動的數據共同構成了大數據的數據來源。

快數據可以在下面四大領域幫助企業客戶：

?幫助企業提升客戶體驗。傳統的被動型系統會丟棄很多與業務存儲以及統計分析無關的數據。而快數據能夠有機的和傳統數據以及Hadoop類型大數據進行有機的結合，幫助企業更好的建立全視角用戶視圖，開發出用戶驅動型的產品，提供客戶導向型的服務?？鞌祿浹a了原來用單一數據庫和Hadoop平臺構建全視角用戶視圖的制肘之處。

?幫助企業優化運營。傳統企業IT運營往往缺乏把握在線營銷時機的能力。在客戶行為事件發生的恰當時機，以最了解客戶的形式展開營銷。同時，在社交媒體追蹤對地點、用戶和產品的提及信息，分析產品、用戶、品牌之間的關聯，從而優化其內部產品與服務提供的準確性，進行跟有針對性的線上和線下（O2O）產品推薦是傳統企業最重要的運營能力創新

?幫助企業優化資源。通過智能設備的數據采集技術，可以實現企業對所需資源的精準優化，優化資源使用效率。在企業在運營過程中，用戶產品所需要的每一種資源的具體使用情況和分布等，企業都可以進行搜集分析，就如同“電子駕駛艙”一般，實現“點對點”的數據化、圖像化展現?？鞌祿屍髽I的管理者管理優化企業資源的方式從“T+1”進化到“T+0”，可以更直觀高效地管理自己的企業。

?幫助企業拓展服務?？鞌祿屍髽I將自己的服務時機與地點拓展到客戶生命周期的每一個要點。企業還可以借助社交媒體中公開的海量數據，通過快數據趨勢分析輿情偵聽技術、分析數據內容之間的關聯度等，進而面向社會化用戶開展精細化服務。

如何分辨企業是否需要“快數據”？

隨著大數據已經成為IT業界炙手可熱的話題，所有企業都希望盡早部署自己的大數據戰略，也希望通過“快數據”獲取實時數據分析能力。然而，如何分辨企業是真的需要“快數據”還是僅需要狹義的大數據解決方案？這里甲骨文提出快數據項目三問幫企業做出正確決策：

?數據分析的結果如何反作用于應用系統？

?數據是連續不斷的而且有順序、窗口、時機等要素，是來源眾多的且有不同格式，數據量大但不關心存儲嗎？

?是否考慮三個第一：能否在第一時間，客戶的第一接觸點上，作出第一反應？

如果企業可以正確認識以上問題并根據自身實際情況給出肯定的答案，那么“快數據”是企業的一個良好選擇。常見的快數據處理場景包括事件驅動營銷與推薦，基于位置的服務，交互式營銷，客戶維系挽留，風險預測與評估，性能管理，媒體偵聽與響應，智能設備采集分析，金融量化交易與風險管理。

甲骨文認為，為了得到全面、透徹、完善的市場洞察，大數據應完全覆蓋傳統數據、非結構化數據、流式數據和快數據，共同為企業構建全數據視圖，提供全面的信息支撐。因此，“快數據”始終是甲骨文大數據解決方案中重要的一環，也是未來的一大關鍵方向。（本文來自：CDA數據分析師培訓官網）

甲骨文具備完整的數據“流程”方案：從Oracle大數據一體機、Oracle大數據連接器、Exadata數據庫云服務器、Exalytics商務智能云服務器，再到Oracle Endeca Information Discovery、Oracle實時決策、Oracle事件處理、R語言，尤其是強大的Oracle數據庫與中間件，構成了大數據從捕獲、存儲、計算、處理、分析、發現、展現等全生命流程處理，能夠幫助企業有效應對數據海洋，獲得分析洞見。