2014百度大數據人工智能技術強勢吸睛

2014年12月12-14日，大數據領域最具影響、規模最大的IT盛會——中國大數據技術大會暨第二屆中國計算機學會（CCF）大數據學術會議在北京盛大召開。大會分享了海內外大數據技術的發展趨勢；從技術與實踐角度探討大數據新技術應用和行業實踐經驗，為產業界、科技界與政府部門提供了一個密切交流合作的平臺，助力我國大數據的產學研用深度結合。

本次大會上，百度表現尤為亮眼，百度大數據、人工智能技術強勢吸睛，現場反響熱烈。筆者特別盤點了百度的三位演講嘉賓的主要觀點，以饗讀者。

余凱：大數據人工智能

百度研究院副院長、深度學習實驗室主任、圖片搜索部高級總監余凱以“大數據人工智能”為主題，介紹了百度在人工智能方面的發展狀況和技術成果。

余凱老師分享“大數據人工智能”主題演講

余凱指出，“得人心者得天下” — 對于互聯網公司來說, 幾乎所有業務的核心就是讀懂人心，理解用戶。這其中最關鍵的技術是基于大數據的人工智能。什么是人工智能？感知、思考和控制是人工智能的幾個重要方面。真正智能的系統，必須能夠隨著經驗的演化，越變越聰明！一個智能的互聯網服務，用戶使用得越多，它就獲得越多經驗，也就越懂用戶。這里經驗是什么？經驗就是數據。當前，從大數據實現人工智能的一項重要技術是深度學習。在百度深度學習已經被應用到連接人和信息，連接人和服務/廣告的各個環節中。

深度學習之所以取得巨大成功，原因有三：第一，模型足夠復雜，建模能力強大；第二，分層模型實現end-to-end學習，不需或減少人工特征抽??；第三，深度學習是一套非常靈活的建?？蚣?，針對不同問題，基于對問題的深刻理解，可以設計最適合的算法。余老師指出，不要把深度學習認為是一個黑箱，它其實是一個語言，你對這個語言越熟練，對具體問題理解越深，就能越能做出好文章。

余凱列舉了百度深度學習取得的一些關鍵性進展，比如百度率先把深度學習成功應用于廣告變現，搜索排序，還有業界高度關注的BaiduEye，DuBike、百度自動駕駛項目等。在使用深度學習之后，百度優于競爭對手的差距顯著拉大。比如，在物體檢測模型上百度取得了世界上最好的成績，百度第一，谷歌第二。

展望未來，余凱分享了自己對于人與機器的思考。他認為偉大的技術不在于讓機器更偉大，而在于讓每個平凡的人變得更偉大。最后他幽默的結束發言：世界是我們的，也是機器人的，但歸根結地，是屬于會做機器人的人的！

柴華：百度分布式計算“七劍下天山”

在大數據基礎設施專場，百度高級架構師柴華主要分享了百度分布式計算“七劍下天山”，并且基于這些雄厚的基礎技術，開發并實現了規模大、效率高、種類全、使用易的計算平臺整體架構。目前，已通過開放API將其強大的計算能力輸出。

柴華分享百度分布式計算平臺

百度分布式計算“七劍下天山”，到底是什么呢？現場柴華做了詳細的解析。

l 大規模離線計算平臺DCE。百度MR單集群規模達1.3萬臺，是業內已公布的最大規模單集群，日均百萬作業吞吐能力。追求卓越的INF團隊，將DAG執行引擎的性能大幅提升；通過對Shuffle模式不斷優化，benchmark作業性能提升30%，完全避免隨機讀IO。

l 高性能分布式計算平臺MPI。平臺支持數十種大規模并行機器學習算法，經過數年優化和完善，性能業界領先。其中，邏輯回歸算法和深度神經網絡，均支持千億特征，千億樣本的訓練。

l 大數據機器學習框架ELF。為大數據應用提供學習/挖掘算法開發支持，用戶最便捷高效地實現大數據機器學習算法，輕松玩轉超大規模數據下的機器學習并行計算。

l 實時計算系統Dstream。該系統用于滿足實時性要求較高的計算業務的需求，目前已實現毫秒級的支持。該系統具有全局無中心節點，低延遲、高可靠性和高可擴展性等特點，用戶只需要關心計算單元的拓撲關系和業務處理邏輯，極大的簡化了業務代碼。

l 流式計算系統Task Manager。該系統用于滿足準實時小批量的流式計算需求，具有高內聚松耦合架構、高可靠性和高吞吐量的特性，且易被方便地管理和監控，硬件故障時可以做到數據不丟不重。

l 基于內存的開源分布式計算框架Spark。目前Spark規模的集群能力不斷提升，以滿足規模式增長的計算需求。

l 分布式trace系統Rid。提供實時、批量兩種數據接入方式，方便業務快速、便捷定位復雜系統的深層次問題，夯實基礎架構支撐，提供通用監控、分析和可視化解決方案。

沈志勇：從數據到智能

在大數據應用專場，大數據實驗室數據科學家沈志勇博士圍繞從數據到智能這個話題，分享了百度大數據智能分析技術和應用實踐現狀。百度智能分析技術不僅用于百度公司內部眾多產品線，并隨著百度大數據引擎發布的發布，百度將大數據、人工智能等技術能力輸出，應用于更多行業，助力產業升級。

沈志勇分享從數據到智能

沈志勇例舉了一些百度與具體行業結合的應用案例，除了業界已熟悉的旅游預測、賽事預測等，他還介紹了在其他垂直領域應用的一些新探索，引發了現場聽眾的巨大興趣。

l 智能運維。通過監控了百度系統和基礎軟件的運行指標，以及產品運營指標，利用智能分析技術實現了時序異常檢測和故障預測、預警。

l 金融大數據調研。該項目是希望基于大數據，通過智能分析技術來預測金融產品。從現場展示的模擬結果來看，該項目已取得初步進展。

l 百度時空大腦。該項目基于用戶定位數據，用戶軌跡數據和浮動車GPS軌跡數據，挖掘百度時空大數據，發現用戶時空行為規律，預測性洞察用戶需求，更精準匹配用戶，從而為用戶提供更個性化的服務。

2014年，大數據技術正在互聯網、運營商、IT服務提供商，以及眾多傳統企業中嘗試落地實踐，百度用實力再次向產業界、科技界與政府部門充分展示了其在大數據、人工智能等領域領先的技術水平和應用實踐。