讓大數據更實時和可視化_數據分析師

2014年12月12-14日，由中國計算機學會（CCF）主辦，CCF大數據專家委員會承辦，中科院計算所與CSDN共同協辦的  2014中國大數據技術大會 將在北京新云南皇冠假日酒店拉開帷幕。大會為期三天，以推進行業應用中的大數據技術發展為主旨，擬設立“大數據基礎設施”、“大數據生態系統”、“大數據技術”、“大數據應用”、“大數據互聯網金融技術”、“智能信息處理”等多場主題論壇與行業峰會。由中國計算機學會主辦，CCF大數據專家委員會承辦，南京大學與復旦大學協辦的“2014年第二屆CCF大數據學術會議”也將同時召開，并與技術大會共享主題報告。

本次大會將邀請近100位國外大數據技術領域頂尖專家與一線實踐者，深入討論Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等開源軟件的最新進展，NoSQL/NewSQL、內存計算、流計算和圖計算技術的發展趨勢，OpenStack生態系統對于大數據計算需求的思考，以及大數據下的可視化、機器學習/深度學習、商業智能、數據分析等的最新業界應用，分享實際生產系統中的技術特色和實踐經驗。

攜程資深軟件工程師廖曉格將在“大數據技術”分論壇帶來“讓大數據更實時和可視化”的演講。大數據不僅是數據規模大，而且最好能實時查看和分析。 實時和可視化拉近了大數據與普通用戶的距離，更加貼近業務需要。攜程在大數據實時和可視化方面做了不少努力，實現了以下目標，廖曉格將在演講中分享攜程在其中的經驗和技術：

1. 通過hbase、storm、spark、yarn等hadoop生態圈整合公司應用（dashboard、clog、ubt、BI），讓數據更加實時，更加可視化；
2. 實時查看整個公司各種指標的變化；
3. 實時收集、查看全網站所有日志；
4. 實時統計用戶行為數據（PV，性能，轉化率等）；
5. 實時反爬蟲；
6. 快速執行adhoc查詢。

廖曉格，攜程資深軟件工程師

有6年Hadoop相關應用開發經驗，先后在PPTV，eBay，攜程參與開發過相應大數據平臺相關應用，目前在攜程Data Infrastructure team負責大數據平臺的運維和開發工作。

CSDN：你所在的公司，都曾使用過哪些大數據技術？你對這些技術滿意的地方和不滿意的地方分別有什么？

廖曉格：我們公司比較重視大數據技術，我們主要使用的技術是Hadoop生態環境的各種開源框架，storm，spark等。滿意的地方是他們都是開源的，所以遇到問題的時候總會找到解決方案，而且社區也很活躍， 能夠獲得很多幫助。同時也會遇到很多bug，需要對使用的框架很了解，才能很好的使用它，幸虧我們有很強大的運維和開發團隊支持，不斷優化，不斷解決問題。

CSDN：根據你的了解，目前類似的企業中，在數據方面，遇到的最大困難是什么？

廖曉格：據我了解，每個公司都有很多數據，每天T級或P級的數據，但是大部分都是搞技術的不懂業務，搞業務的不懂技術，這樣就不會很快很有效率的利用數據來幫助業務，所以讓大數據可視化很重要，業務人員可以很方便的獲取他們想要的數據，可以省去很多溝通的成本。

CSDN：在大數據領域，目前還有哪些技術是你正在觀察和研究的，為什么你看好這些技術？

廖曉格：Storm，Streaming流式計算和Spark是我現在正在觀察和研究的，互聯網的競爭壓力很大，所以很多東西要快，誰比較快就占領了優勢，大數據也一樣，數據早點出來，業務就可以早點做決策。我們也是不斷改進，不斷往這個目標前進。

CSDN：請談談你在這次大會上即將分享的話題。

廖曉格：我分享的是Make big data visualizable and real-time，讓大數據更加實時和可視化，攜程每天上T的數據都是實時從網站，手機等各種應用端流到服務端，如果沒有可視化，根本不知道用戶發生什么行為，哪個產品用戶更加喜歡。如果計算很慢，我們將會不能給用戶很好的反饋，不能及時發現和解決各種應用端遇到的各種問題，這樣就不能給用戶很好的體驗，將會流失大量的用戶。我們目標在第一時間為用戶提供最優的服務。本文來源：CDA數據分析師官網