將大數據分析從理念運用到生產_數據分析師

GraphLab提供了一個完整的平臺，讓機構可以使用可擴展的機器學習系統建立大數據以分析產品，該公司客戶包括Zillow、Adobe、Zynga、Pandora、Bosch、ExxonMobil等，它們從別的應用程序或者服務中抓取數據，通過推薦系統、欺詐監測系統、情感及社交網絡分析系統等系統模式將大數據理念轉換為生產環境下可以使用的預測應用程序。

Carlos Guestrin是GraphLab的聯合創始人兼首席執行官，同時也是華盛頓大學的機器學習的Amazon Professor。作為機器學習界國際公認的引領者，Carlos獲得過多項殊榮——被Popular Science雜志評為2008年 “Brilliant 10”，憑借AI領域的卓越貢獻獲得IJCAI Computers and Thought Award，同時他也是美國青年科學家總統獎獲得人。

本文基于GraphLab首席執行官Carlos Guestrin關于AWS服務的QA內容撰寫的。

Q：機器學習是什么？在過去10年又獲得了什么樣的發展？

Carlos Guestrin：機器學習是一種科學，它設想計算機可以通過大量的數據閱讀從模型中學習，并將學到的知識作為基礎，自動地進行準確的預測和決策制定。在過去10年中，我們可以看到機器學習已經在無人汽車駕駛、在線商店喜好產品推薦、營銷定位、信用卡防欺詐等領域得到使用。鑒于其可以將“大數據”轉化為改善生產生活的洞察力，多樣化和大體積的數據讓機器學習成為一個熱門的投資方向。

Q：你可以分享GraphLab成立背后的故事嗎？為什么會開始這樣一個業務？

Carlos Guestrin：GraphLab原型誕生在2008年卡耐基梅隆大學，在我的引領下，與我的兩個學生一起創辦，他們分別是博士和博士后。在這之前，團隊一直致力于先進圖分析應用程序的研究。為了完成某些目標，他們需要建立具備更高擴展性的工具。這些工具一經建立就得到了眾多關注，當時一個簡單的研討會甚至吸引了300余人參與，是預期的十倍。這一結果顯示，這個市場擁有龐大的需求，同時也證明了平臺設計的優越性。當時，團隊完美地利用了EC2的能力，在圖分析、異步通信取得了顛覆性進展，與同類圖分析系統對比中擁有數量級的性能優勢。

到2012年，我和妻子（同樣是計算機科學教授）正在考慮一個新的工作。在Jeff Bezos游說我們去華盛頓大學的同時，Amazon創始人及董事長約見了我們夫婦，并確定兩個華盛頓大學機器學習Amazon Professor的職位。隨后我們轉移到PNW，也遇見了一些有才華并且想在新興大數據分析領域大展拳腳的學生。在Madrona Ventures和NEA的資金支持下，GraphLab公司在一年后的2014年3月正式誕生，并以測試版的形式推出了第一個商業版CreateTM。

Q：能否談談GraphLab的創建，以及它如何簡化大數據分析？

Carlos Guestrin：當下，將原始數據轉化為洞察力，并建立一個預測應用程序仍然是極具挑戰并且復雜的，它需要數據科學家或同樣知識淵博的軟件工程師來完成。同時，必不可少的是，完成這個工作還需要大量復雜的工具，用以收集、清洗、建模、分析并將結果對商店或者應用程序進行展示。許多情況下，生產環境下的原型代碼實現是個漫長及昂貴的過程。這樣一來，許多沒有編程經驗的數據科學家將毫無用武之地，同時，機構也很難從他們的數據中提取價值。

應運而生的是，GraphLab提供了一個這樣的平臺，讓毫無編程經驗的數據科學家可以快速地將理念轉化為生產環境可以使用的產品。通過大量GraphLab用戶了解到，GraphLab Create可以幫助他們快速的提高生產力，并且在不需要太多編程經驗和人力的情況下快速交付價值。

Q：它是否支持部署在AWS的預測應用程序？

Carlos Guestrin：原始數據到業務轉化預測分析的過程往往起始于一個數據科學家、一臺筆記本及一個必須在大規模測試下驗證關鍵概念的原型。這個過程可能因為AWS非常易于擴展而縮短，但是對于許多數據科學家來說，將原型進行生產環境的代碼重實現仍然非常困難。

這就給GraphLab帶來了機會。GraphLab Create可以在全AWS環境下運行。只需要修改一行代碼，數據科學家就可以將他們筆記本上基于GraphLab建立的原型遷移到AWS中。任何大小的數據集及模型都可以從Amazon S3加載和訪問，同時GraphLab還提供了跨AWS集群的部署、監測、數據管道優化及預測服務。

Q：可以分享一些常見用例嗎？人們是怎么使用GraphLab Create的？

Carlos Guestrin：常見GraphLab Create使用覆蓋了各種領域：

零售業：推薦系統和價格預測（比如機票）

金融服務：通過行為和交易分析預防欺詐

生物醫學：通過醫療記錄分析預報疾病，定制化藥物設計

通信領域：預報客戶流失

社交網絡分析：識別關鍵網絡和社區影響者

市場和媒體：情緒分析，目標鎖定

Q：預測應用程序是不是只有企業在使用？

Carlos Guestrin：完全錯誤。州政府和地方政府使用GraphLab來分析市民情緒以及判斷哪個區域的地方基礎設施需要及時關注；生物醫學研究團隊使用GraphLab分析臨床記錄來預測病人的病情發展趨勢；各種類型的傳感器網絡使用GraphLab獲得有價值的數據以幫助提升航空和鐵路運輸安全。通常情況下，政府、科研機構、保健和服務提供者都期望通過有效的數據利用來提高運行效率。

Q：那么，早期的公司是否需要重點對待數據科學？創業公司需要在什么階段開始關注大數據？

Carlos Guestrin：對于任何規模的公司來說，數據科學及數據驅動決策都有著非常重要的意義。大型公司不能只止步于歷史記錄分析，他們需要讓陳舊的客戶推薦系統高效起來，利用包括實時分析的領先預測技術。調查及評論字段的文本和情感分析可以幫助了解用戶情緒，從而減少意外發生。同樣的，剛起步的公司擁有基于數據分析的業務模型同樣非常重要，尤其有益于銷售、市場、媒體、廣告等領域。當下，還存在一些以數據科學為核心的創業公司，他們為某個特殊垂直領域或應用建立高度專業化的定制服務，比如分析在醫療保健上的浪費、供應鏈優化以及保險索賠。

所有這些公司，不管規模大小，他們都有著共同的特點，那就是擁有大量的數據，但是缺少數據科學資源以及計算能力。這些正是AWS和GraphLab聯合提供的優勢，通過移除擴展瓶頸，大數據已經從炒作過渡到真正投入生產階段。

Q：十年后，你眼中的機器學習會對大數據有什么樣的推進？

Carlos Guestrin：十年后，對比當下數據科學家和富有經驗的工程師，機器學習將掌握在更多人手中，他們將提供比現在更多的生產力。比如，業務分析人員和業務線擁有者將更依賴預測服務提供的實時利潤前景預測，政府、醫療、私營部門的服務提供者將可以根據需求定制化產品。同時，對于非技術人們來說，機器學習和數據驅動決策帶來的獨立價值提升將被人們公認。

Q：GraphLab的下一個舉措是什么？

Carlos Guestrin：GraphLab正走在大眾化機器學習的路上，旨在實現上文所述“全民都可以機器學習”的愿景。就眼前來說，我們正在致力于旗艦產品1.0版本的打造，GraphLab Create將在10月15日全面可用。首次發行后，我們會將機器學習能力交付到所有機構。同時，我們也將看到更多的大數據需求得以實現。