騰訊、阿里等分享的大數據應用_數據分析師

從2008年60人規模的“Hadoop in China”技術沙龍，到當下數千人規模的行業技術盛宴，七屆BDTC（大數據技術大會）完整地見證了中國大數據技術與應用的變革，忠實地描繪了大數據領域內的技術熱點，沉淀了無數極具價值的行業實戰經驗。。

為了更好地洞悉行業發展趨勢，了解企業技術挑戰，在BDTC 2014召開前夕，我們將帶大家一起對歷屆大會沉淀的知識進行挖掘，分享各IT巨頭在大數據領域的探索之路。

大數據為企業的發展帶來了巨大商機，在各個企業中都發揮了良好的應用，這里將為大家送上歷屆中國大數據技術大會PPT精粹的大數據應用篇。

以下為歷屆中國大數據技術大會PPT精粹的大數據的應用篇： 

騰訊精準推薦中心廣告推薦負責人薛偉：騰訊廣點通——大數據之上的實時精準推薦

PPT下載 ——2013年第七屆BDTC

廣點通是基于騰訊大社交平臺的效果廣告營銷產品，在騰訊大社交平臺海量用戶積累的基礎上，運用大數據技術，進行以人為核心的數據挖掘，實現精準的廣告推薦。騰訊精準推薦平臺是廣點通背后的支撐系統之一，具有數據海量、系統實時和算法精準的特點。薛偉從數據、算法、系統等幾個方面對廣點通進行了介紹。廣點通從推薦的視角看數據，形成用戶、物品和推薦位之間的交叉效應；推薦本質上是一種個性化排序，針對不同的推薦場景，采用不同的數據和不同的算法策略，其中算法包括規則算法、基于內容的算法、協同過濾算法、圖算法和分類算法等；關于系統方面，采用了騰訊分布式數據倉庫和騰訊實時計算平臺，借助實時系統助力精準推薦。

淘寶核心系統存儲系統研發專家楊志豐：OceanBase——淘寶結構化大數據解決之道

PPT下載 ——2012年第六屆BDTC

楊志豐表示淘寶每天大約有6000萬用戶登錄以及20億PV。淘寶數據庫對于淘寶來說非常重要。幾乎所有淘寶業務都依賴淘寶數據庫。淘寶數據庫具備數以千計的數據庫服務器，需要同時應對單表幾億至幾百億條的記錄以及每天幾億至幾百億次訪問。為了應對大數據的沖擊，淘寶將以前的Oracle、小型機、高端存儲模式轉變到現今的MySQL、OceanBase、Hbase、MongoDB等數據庫，并使用普通PC服務器。楊志豐表示OceanBase可擴展數千億條記錄、數百TB數據、數十萬QPS以及數萬TPS。同時具備實時容錯、自動故障恢復和99.999%高可用性。

奇虎360高級軟件工程師肖康：Storm在實時網絡攻擊檢測和分析的應用與改進

PPT下載 ——2013年第七屆BDTC

肖康從業務需求、解決方案、問題與改進三個方面介紹了對訪問360的服務進行實時統計和攻擊檢測的Storm平臺。使用storm主要是從實時、擴展、容錯和靈活四方面考慮，能夠有效的提高時效性（10秒內可以檢測到異常訪問）、吞吐（單機群一個topology每個bolt10個并發，處理10Gb/s）、對業務影響（流量走光纖旁路給storm處理，對業務邏輯沒有影響，不需要做任何修改），但是storm在穩定性、可用性和易用性方面仍存在著一些問題。肖康列舉了其中的8個問題，并相應的給出了其改進方法，并提出了公司的未來工作。

小米軟件開發工程師馮宏華：HBase在小米的應用與擴展

PPT下載——2013年第七屆BDTC

馮宏華主要介紹了HBase在小米的應用現狀、小米對HBase已做的改進和擴展以及進行中/計劃中的改進與擴展。HBase目前的集群規模為15個HBase集群，包括9個在線集群、2個離線處理集群和4個測試集群，服務于小米內部的十多個不同業務，具有幾百臺機器，每個數據節點為24TB。主要應用場景為小米云服務、米聊消息全存儲、小米推送服務、MIUI離線分析和多看離線分析；小米對HBase已做的改進包括Delete的語義校正、可控粒度跨機房備份、寫吞吐性能優化等多方面；計劃的改進與擴展包括Compact優化、Failover優化、Master重構、多租戶等方面。

中國移動通信研究院技術經理徐萌：中國移動大數據應用實踐

PPT下載——2013年第七屆BDTC

她表示中移動移動互聯網用戶流量激增，手機數據化、寬帶化趨勢明顯，亟需深挖大數據的價值。這與中國智能交通協會理事長吳忠澤在會上的觀點不謀而合。中國移動網絡規模和擁有用戶數全球第一。在用戶流量激增時，手機數據化、寬帶化趨勢很明顯。而在這樣的發展趨勢下，大數據處理核心基礎轉變很明顯。在傳統數據分析處理時代，所用的硬件和軟件都不再適應。所以大數據處理的時代，要尤其關注MPP DW+Hadoop的應用。在實踐中，中國移動也發現關于使用Hadoop的一些問題：版本不一，缺乏規劃；調優復雜，門檻較高；自有人員不足，控制力弱。為此，中國移動將基于開源Hadoop軟件的大云大數據平臺BC-Hadoop開源，嘗試開源模式！

中科院計算所副研究員查禮：大數據技術如何用于傳統信息系統

PPT下載——2013年第七屆BDTC

通信、網絡、存儲、傳感器等電子信息技術的飛速發展導致了數據規模的極大增加，傳統的存儲并處理這些數據的技術手段遇到了瓶頸，同時，數據爆炸對數據存儲與處理效能提出了挑戰。高速發展的數據型互聯網企業需要連續的系統擴展能力，這需要解決數據快速增長與數據中心擴容周期緩慢的矛盾；如何維持低成本曲線和高性能曲線是現實問題，這是數據業務深度的不斷加強和數據處理性能現狀的矛盾。數據計算技術呈現規模大、計算快和檢索準的發展態勢，Hadoop這樣的大數據技術源于互聯網應用，需求和游戲規則的不同導致必須經過改造才能適用于傳統信息系統應用。

Teredata天睿公司大中華區Aster事業部總監孔宇華：駕馭大數據——如何實現大數據的應用性

PPT下載——2012年第六屆BDTC

孔宇華主要講述了如何來讓大數據更加地平民化、更加大眾化。他表示，大數據是天時地利人和，讓它發揮價值也是需要天時地利人和的。不僅在技術方面、在人員方面、流程方面都需要注意。在大數據方面，從應用看企業需求，從易用看維護，從速度看如何實現數據精華。企業在開發新的大數據平臺、大數據產品的時候要考慮到易用，要考慮到你的用戶和后端的人員是哪些人，他們是用SQL的還是做代碼的。你是要用大數據來解決什么樣的問題以及哪方面的問題，之后再從這個應用的需求方面再推斷大數據平臺和技術上的需求。

人云科技創始人兼總經理吳朱華：中小企業Big Data解決之道

PPT下載——2012年第六屆BDTC

吳朱華表示海量數據呈現“4V + 1C”的特點。即Variety：一般包括結構化、半結構化和非結構化等多類數據，而且它們處理和分析方式有區別；Volume：通過各種設備產生了大量的數據，PB級別是常態；Velocity：要求快速處理，存在時效性；Vitality：分析和處理模型必須快速變化，因為需求在變；Complexity：處理和分析的難度非常大。他認為中小企業面對大數據的解決之道應遵循采集、導入/處理、查詢、挖掘的流程。另外，他還介紹了自家的YunTable。這是在傳統的分布式數據庫和新的NoSQL技術的基礎上發展而來的新一代分布式數據庫。通過它能構建一個百臺級別的分布式集群來管理PB級別的海量數據。

凱備份技術總監兼高級架構師盧億雷：Hadoop在網盤和在線備份的應用與挑戰

PPT下載——2012年第六屆BDTC

凱備份（Carbonite China）技術總監兼高級架構師盧億雷闡述了HDFS和HBase在網盤和在線備份的應用、大數據的挖掘與處理、小文件的存儲、備份文件至云端、文件全路徑存放方式以及Namespace的管理等方面的問題。他還談到MongoDB的經驗分享：盡量創建索引；限定返回結果條數；Filter只返回需要的數據；優化主鍵，盡量自己控制主健ID；UUID主鍵使用BinaryData數據類型存儲；注意文件大小不超過16M。最后，他補充道，用什么技術不是關鍵，關鍵是怎么用：明確需求，找準關注點；選擇方法，要成熟技術，均衡復雜度；高效運營。

精誠資訊云中心Big Data事業部首席顧問陳昭宇：企業應用Hadoop的最佳模式

PPT下載——2012年第六屆BDTC

企業使用大數據面臨著存儲、計算、管理和分析等方面的挑戰，Hadoop作為大數據處理的最佳工具，企業在應用時仍然面臨著部署、應用和運維等眾多方面的挑戰，陳昭宇用具體實例介紹了使用Etu Appliance的優勢，這也是企業搭建Hadoop平臺的最佳模式。相比自建Hadoop集群，采用Etu一體機，技術門檻低、人才招聘容易、上線時間迅速預計系統性能良好。同時，它還具有快速部署、性能優化、水平擴展、容錯機制、安全簡便等特性，特別適合海量數據處理。