大數據峰會：技術熱點與應用實踐的融合

本次大會雖然只有短短一天，但是卻以更加國際化的視野，幫助與會者了解全球大數據技術的發展趨勢；從行業應用出發，探討大數據領域的實踐經驗，深度剖析大數據的核心技術。

eBay總經理，eBay China Center of Excellence田衛做了開場致辭，在感謝各位來賓的同時，對1500位報名但由于場地限制，未能來參會的朋友們也表示了歉意。大數據以迅雷不及掩耳之勢，迅速的擴展到金融、娛樂、工作和生活中來。以打橋牌的經歷為例，她介紹了自己如何通過一個”小數據“實現了價值?！贝驑蚺?，不僅牌要打得好，還要運氣好，失誤少。我將大數據技術融入到橋牌中來，通過對大量數據的積累與分析，最終以新人身份沖入第14屆世界橋牌競標賽。這足以說明數據分析的魅力。未來，eBay會開源幾個大數據平臺工具，將頂尖的大數據技術分享給世界?！?/span>

eBay全球數據架構副總裁Debashis Saha則發表了題為“大數據基礎架構的未來”的演講。如今有五分之一的美元是花費在網上，eBay已經不僅僅是一家連接買家和賣家的電子商務公司。eBay目前有1.28億的活躍用戶，Paypal有1.43億活躍賬戶，200PB以上的數據。幾年前，Hadoop的出現為這些大數據的處理提供了可能。Debashis首先介紹了eBay如何在Hadoop的基礎上，擴展平臺和工具，來適應大數據商業的需求，在eBay的生態系統中，分為三層：Infrastructure，Platform和Services。接下來，Debashis介紹了eBay在深度數據分析和快速、實時分析方面所做的工作，包括對開源社區的貢獻。

國立臺灣大學卓越教授林智仁，作為作為機器學習的研究者，帶來了“大規模分布式機器學習”的分享。分布式機器學習還在很初期的階段，其帶來的最大挑戰是：以前在一臺機器上的算法、工具等都已經基本失效，要考慮算法、系統和應用等各個方面，但也有人說大量的數據中能夠更容易挖掘出有效數據。從技術角度來說，分布式機器學習的優點是：1.可實現并行數據加載，提高加載效率；2.容錯機制。但分布式機器學習也有缺點：深度分析使流程更加復雜。如果真的要采用分布式機器學習，就要考慮數據的計算時間，加載時間和同步時間，而在過去的機器學習中，大部分場景中卻只考慮了計算時間。最后，林智仁介紹了幾個分布式機器學習的算法及其應用場景，比如Logistic Regression問題的分布式實現，Google的Sibyl系統，并以用戶的CTR預測應用場景進行了說明。

Druid創始人Eric Tschetter接下來發表演講“Druid之旅，大數據實時分析數據存儲框架”的演講。Eric以一個Demo開場介紹了Druid。Druid是一個開源的、實時處理數據庫，主要用于數據量較大、多維度數據的場景，滿足不宕機的數據分析需求，在Druid之前，他們嘗試過RDBMS（加載速度過慢）、NoSQL存儲（隨著維度的增加，效率降低），由于各種缺陷開始了Druid的開發。Druid將歷史數據和實時數據分開，Realtime Nodes、Historical Nodes，還有Broker Nodes，再將兩者進行合并處理。接下來Eric詳細介紹了Druid的數據存儲形式和處理方式。

eBay全球平臺架構資深架構師Sami Ben-romdhane詳細介紹了“Eagle：Hadoop平臺監控、預警及自動化”的實踐經驗。eBay的Hadoop平臺團隊，包括9位中國工程師和11位美國工程師，Eagle完全由中國的團隊開發。eBay的Hadoop節點從2007年的幾個，發展到2014年的10000個，Hadoop集群的管理成為難點，Eagle應運而生。Eagle的應用場景包括監控M/R作業，作業性能的分析，服務器異常檢測，管理SLA作業，監控節點審計日志，監控HDFS鏡像，監控進程GC日志等。Eagle的主要組件包括Eagle Data Feeder，Eagle Logstash Integration，Eagle Data Storage，Eagle Query Service，Eagle Anomaly Detection，Sami分別對其做了詳細解說，并介紹了Eagle完全由中國團隊開發完成。

EV Analysis Corporation首席數據科學家Ying Li則分享了數據科學的實踐。Ying Li首先介紹了數據科學的定義和自己多年積累的實踐原則：Question，用問題指引工作；Unknowns，知道你的盲點；Explore，從不同角度看數據；Scrupulous vs. Speed, Science vs. Scrappiness；Truth，數據和現實的關聯。認為數據科學的一個重要性質是可重復性，而評價數據科學家的一個重要指標則是其代表作。

CSDN云計算日前翻譯的《Kylin正式發布：面向大數據的終極OLAP引擎方案》引發了開發者對麒麟（Kyllin）極大的興趣。eBay資深架構師蔣旭對剛剛開源的技術Kylin——基于Hadoop的大規模聯機分析引擎，進行了深入的分析。隨著eBay大量數據都遷移到Hadoop上，如何讀取數據？如何達到百億數量級的數據，秒級時間內就能收到數據分析結果？而Hive又太慢了，eBay開發了Kylin來完成這個任務。對于開發者關心的“現在已經有很多SQL-on-Hadoop技術了，為什么還要重復造車輪？”這個問題，蔣旭詳細分析了現有系統的問題，多數選擇ROLAP的模式，數據集一大，查詢延遲特別長。為此，eBay選擇了MOLAP和ROLAP的混合模式，并堅持盡量使用Hadoop已有功能的原則，Kylin支持ANSI SQL查詢。并能與現有商業智能工具無縫的整合，比如Tableau。 支持TB到PB級別的快速查詢能力。麒麟（Kylin）是完全由中國團隊研發并貢獻到開源社區的產品，目前正在提交到Apache孵化器項目。