大數據的最后一公里—數據可視化的價值

今年以來，大數據是整個IT領域非常熱門的話題，特別是阿里巴巴的馬云提出 “人類正從IT時代走向DT時代”，把大數據推向了風口浪尖。然而對于大部分企業來說，往往是空有海量數據而無實際使用價值，更不要說幫助管理者進行業務決策。

云智慧作為一家專業的應用性能管理服務商，常年與客戶的各種IT數據打交道，我們是如何看待大數據的呢，又是如何讓大數據對企業的業務決策產生價值的呢?請看云智慧高級產品經理Fox對于大數據的最后一公里——數據可視化價值的思考。

什么是大數據

選擇分享這個主題的靈感主要來源于在云智慧所負責透視寶產品工作，以及Fox(以下為第一人稱)與父親的一次簡短交流。

我父親是一個公務員，他每天有一個愛好是看新聞聯播，經常新聞中會提到大數據，偶爾會問我什么是大數據?國際上給出的定義是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。是不是很難懂?

有個段子可以幫大家生動的理解大數據，林彪帶兵打仗的時候有個特別的習慣，那就是每次戰斗結束后，都要用小本子記下所繳獲的武器種類、數量等數據，樂此不疲，而大家對此都不以為意。有一天，在又一次遭遇戰后，士兵在給他念繳獲的武器數量時，他突然叫停，然后興奮地指出，這次遭遇戰很可能遇到的是敵人的指揮部隊。原因是，這次繳獲的小槍與大槍的比例高于普通的戰斗，小車與大車的比例以及軍官與士兵的比例也都高于平均，因此他得到了這個結論。在這個數據的指導下，部隊一鼓作氣，追擊逃脫的部隊，成功的把敵人的指揮官抓獲。

通過這個故事大家就能生動的理解大數據的作用和價值。無論多數企業或個人是否已經意識到大數據的真實存在，毫無疑問，我們生活在大數據時代。隨著大數據的興起，數據分析被分成以下幾個步驟：采集、統計、分析、呈現，而數據呈現即數據的可視化，被稱為大數據的最后一公里。

什么是數據可視化

大數據已經被國家列入十三五規劃，提倡開放，共享。開放共享的背后意味著人人都可以接觸和進入大數據領域，企業不再為數據資源的壟斷發愁，因為一切都是開放的，如何獲取數據將不再是問題，困難在于數據有什么價值，用什么樣的手段才能把數據的價值直觀而清晰的表達出來。

我之前看到過一篇文章《設計中的設計》，里面提出一個概念叫視覺對話。如果要兩個語言、文字不通的陌生人進行溝通，給他們一張紙，一只筆，他們一定是用最簡潔的方式把自己的想法畫下來進行交流，這就是視覺對話。

其實這也正是數據可視化的本質，通過可視化圖表將用比文字快10倍的速度將陌生的讀者帶進門，大數據時代一個顯著特征就是數據可視化的崛起。作為大數據最后一公里的展現環節，數據可視化將技術與藝術完美結合，借助圖形化的手段，清晰有效地傳達與溝通信息。

一方面，數據賦予可視化以價值;另一方面，可視化增加數據的靈性，兩者相輔相成，幫助企業從信息中提取知識、從知識中收獲價值。

為什么要做數據可視化

為什么很多企業開始擁抱數據可視化?是什么趨勢在驅動可視化，換言之為什么企業變得更具視覺性?

我們首先澄清一點，數據可視化絕對不是最近才流行起來的，早在原始社會穴居人類就將巖畫作為一種信息傳遞手段，而目前我用過最牛的大數據分析軟件就是Excel。

和5年前相比，企業對于數據可視化的需求越來越強烈。原因很簡單，數據實在是太多了。正因為信息大爆炸，才會造就Google和百度這兩家以IT信息檢索為核心業務的搜索引擎巨頭。

而今天我們所生活的移動互聯網時代，又與傳統互聯網時代截然不同，一方面移動互聯網用戶是傳統互聯網的3倍，使用頻率是傳統互聯網的5倍，因此我們說這是一個15倍于傳統互聯網的市場。大數據的概念在最近兩年越來越熱，我們可以看一下來自Aigra的大數據圖表，就可以知道在互聯網上一分鐘內會產生的內容是多少了。

通過這張圖我們可以看到大數據到底有多大，而這對企業來說意味著兩點：一方面，企業需要新的工具才能分析和理解大數據;另一方面，企業最終的目的是利用這些數據更好的做商業決策，并通過數據分析能夠最直觀的理解數據的含義，這就離不開數據可視化。

數據可視化的作用和實現方法

數據可視化對企業有什么作用呢?我個人覺得不是所有數據都非得可視化，很多數據可視化確實有些牽強，但數據可視化能給我們帶來的3個作用：

1、大規模的數據可視化可以幫助企業管理者對大量的數據有個迅速的了解，工作更高效。

2、正確的數據可視化可以清晰展現數據背后的意義。

3、數據可視化可以幫助企業做出準確的決策。

數據越來越多，企業越來越希望搞清楚數據背后的意義和價值，而我們云智慧的透視寶也越來越有優勢!大家常用的用戶統計分析系統或日志分析所采集的數據局限于用戶行為和IT系統本身，而對于企業業務來說，二者是息息相關的，IT性能的優劣影響著用戶體驗和用戶轉化，而蜂擁而至的用戶也會造成性能的瓶頸。

通過透視寶可以把用戶的行為數據和系統性能關聯起來，不僅可以分析受用戶喜好的功能是什么，也可以分析他們的性能對用戶的影響，而當我們的透視寶所覆蓋的行業越來越廣泛，企業還能用自身的數據和行業平均指標進行橫向對比，進而輔助企業決策，這對于企業來說是很有價值的，這就是大數據可視化的魅力。

基本上各種各樣的圖表在不同的場景下，所表達的含義是有區別的，上圖就指導了我們什么類型的數據需要什么類型的圖表，展示會更清楚，也更容易讓客戶理解數據的價值。在透視寶中也需要根據不同的使用場景選擇更適合的圖表展示，后續我們會有針對性的優化和做適度的調整。

這是一張很經典的數據可視化圖表，以地圖的方式實時展現QQ在線使用人數，我們可以換個角度思考，如果這是某個企業APP的在線使用人數，是不是可以掛在老板的辦公室里，讓老板隨時對應用的當前用戶使用情況有清晰的了解，哪些地區一片黑，哪些地區用戶活躍集中，這商業決策上無疑有很大的幫助。這些數據都是透視寶可以拿到的，也就是說我們的透視寶可以發揮超級大的作用。

這是Audubon鳥類和氣候變化的報告中的一部分，它預測了季節變化的區域，黃色代表現在是夏季，藍色代表冬天。地圖具有神奇的能力，既是一個強大的數據可視化工具，也是一個強大的報告工具，可以給我們展示不能直接看到的東西。

我個人以為在數據可視化領域相對應的三項技術：

1、數據降維，我認為數據降維是處理數據的首要任務，我們通常將自己的個人欲望強加到數據可視化中，我們有太多的指標都需要通過一個信息圖處理完成，這里面就出現一個問題這些維度的數據真的需要一張圖表現嗎?表現出來的信息，客戶能看的明白嗎?所以往往數據降維化繁為簡是首要工作，其次我們要將數據清洗，去掉所謂的噪音，留下有價值的信息，否則在后面分析數據的時候就會受到不必要的干擾。

2、關聯關系，數據本身并無意義，只有關聯起來才能產生含義和價值，將不同的散點通過內在和外在的聯系聚合在一起，使得數據之間可以通過不同的維度進行關聯，傳遞數據的價值，比如人群與性別，年齡，身高就是一個很典型的關聯關系。

3、扁平交互，PC 和手機屏幕是有限的，每增加一種顏色都會增加信息量，從而干擾對原有信息的傳遞，我們可以在地圖可視化中采取兩種策略實現數據隱藏，一種是逐級鉆取，充分利用地域的分級包含關系，使信息按照省-市-縣層次展示，而不必一下子展開;另一種是擴展圖，將復雜的信息濃縮收集，像抽屜一樣，需要的時候再打開。

這三項技術說起來容易，但做起來卻不一定，因為我們往往很難控制自己的欲望，加數據，加關聯，加功能。不管做什么，控制自己的欲望和堅持很重要，不忘初心，方得始終。

舉個栗子

說下可視化組織的典范吧，最大的大數據公司是哪個?是擁有12億注冊用戶的Facebook嗎?還是Amzaon和GOOGLE?他們都是大紅大紫，享譽國際的大公司，這些公司也都不是等閑之輩，但要說典范，目前此榮譽當屬Netflix(網飛)。

這家公司的起家跟互聯網或大數據沒有半毛錢關系，說的通俗點就是個租光盤的，Netflix 成立于1997年，最初只是開展通過郵遞租借DVD的業務。那個年代不論是外國還是中國，都有種路邊店叫錄像租賃店，要租借視頻必須親自去商店里左淘右淘，又因為經常延期交還光盤而收取滯納金。Netflix不開店面采用郵寄的模式，一炮而紅，2000年Netflix光滯納金收入就達到8億美元，占總收入的16%。

十年過去了，視頻租借模式已經從成熟走向衰落，更重要的是隨著時間的推移， DVD的損壞，客戶的偷竊，郵遞成本不斷增加等諸多問題都給Netflix的租賃模式難以為繼，所以在2007年Netflix開始了自我顛覆，從實物DVD向流媒體的轉變。這個過程中Netfilx意識到客戶生成了多得令人難以置信的數據，這不僅是關于誰看了什么節目的數據，還收集到更多有價值的信息：

地理定位數據，發現用戶在哪里觀看視頻;

設備數據，發現用戶通過什么終端看視頻;

時間數據，用戶什么時候觀看視頻，比如星期幾和具體時間等;

行為數據，用戶每次看視頻的后退、快進和暫停的行為。

不僅如此，Netflix還通過社交網絡Facebooke，Twitter及其他網站采集用戶的社交行為數據，然后通過堅實的基礎平臺和強大的大數據分析能力將數據可視化，并且成功的預測了用戶的喜好和偏愛。

未來Netflix可以進一步強化對客戶下一步想要觀看什么視頻和內容的預測能力，通過聲音，風景，顏色等因素進行推薦，這些元數據對客戶想看什么提供更有價值的洞察。