如何在海量數據中尋找和分析信息

雖然大數據這個概念炒的非?；?，但是大數據內部運作的邏輯，其實和我們傳統行業是比較類似的。比如如果傳統行業做實業的話，首先要有地基，你要有廠房，要有原材料，然后做加工，接下來設計成獨立的產品，給客戶帶來獨特的體驗。我們剛才講的開放云就是大數據的地基和廠房，原材料就是在線上和線下產生的海量數據。這個是我們現在百度目前每天數據規模，2013年是25PB，這個數字在快速的變化，我們現在處理的能力已經提高一倍，數據上目前是50PB，增長了一倍，這個就是我們目前大數據庫要處理的數據的原材料。那么有了原材料接下來該怎么辦？

數據存儲

稍微看一下我們目前的大數據處理能力的三層架構。首先我們有海量的數據儲存能力，然后在這個基礎上，我們會做很多智能的分析，在這個基礎上我們做很多大數據的產品，我們會逐步的開放這三個方面的能力。先說一下海量數據，做實業的各位領導和專家們，如果你有原材料，最關鍵的下一步要做兩件事，一件事情是物流，第二件事情是原材料的標準化，要把原材料制成毛坯，在這個基礎上才能實現你的產能。

在海量數據的處理上是這樣的，百度三年前我們的架構是左邊這樣一個模式，在這個時候我們的數據傳輸，我們數據的儲存都是每個產品線有自己的方式，我們大概用了兩年的時間構建現在的數據儲存方式，解決兩個問題，一是數據的傳輸?，F在百度很多產品線要實時產生大量海量的數據，這些數據都需要被實時的儲存一個地方。

但是這些產品線的數據格式都是異構的。我們做了非常多的標準化的工作，在基礎上形成了第一個海量數據儲存的產品，叫通用的數據倉庫。在使用這個通用的數據倉庫，我們第一個構建了實時的海量數據的傳輸平臺，那么任何一個產品線產生的數據都能夠實時的傳送到這個數據倉庫里面。另外我們做了實時的數據標準化的工作，無論你的數據是什么樣的格式，到我們數據倉庫里面都以同樣的格式來儲存，有了這個物流，有了這個標準化，我們能夠在這個基礎上對數據進行更多的分析和加工。

那么從這開始，百度的數據就開始在大數據部門進行各種各樣的處理過程。

數據分析

這個圖有點復雜，這是數據在百度的一個生命周期，這邊涉及到很多的技術細節，我會詳細一一介紹。這里我想強調的是整個數據的流程是全自動化的，從數據的生成，數據的傳輸，數據的標準化，到最后數據的歸類，數據的分析，都是全自動化的。這里面我是很高興跟大家宣布，我們這套全自動化的流程，并形成了我們自己的產品。

這個產品我們現在有一個英文名字叫Query Engine，是一套標準的海量數據儲存方案，首先無論你的數據是什么樣的，經過我們的處理會把它做成數據標準化，當你的數據實時生成，我們有非常好的數據傳輸框架，保證你的數據上傳到百度的開放云，在上面進行建模，進行各種各樣可視化分析和決策的過程。我們已經成功了上傳分析一家合作企業將近10T的關于新能源方面的一些數據。百度非常歡迎傳統企業，如果你有海量的數據，你需要各種各樣的分析和操作的話，來接洽我們，來使用我們這款產品。

當這個數據已經被結構化儲存以后，我們希望在這個基礎上能夠進行各種各樣的智能化分析。就像傳統行業有自己的產品設計中心一樣，會對產品進行各種各樣的分析、排列組合，做各種各樣的實驗。在這個實驗的基礎上能夠產生出比較好的產品，能夠滿足用戶的需求。那么在大數據部門也有這樣的需求，也需要有大數據產品的設計中心，在這個設計中心需要做很多實驗，做出適用于百度，適用于客戶的數據產品。所以這個產品經過四個月的努力，我們也已經對外開放。就是之前高級總監朱永忠介紹的，大家可以通過這個域名去訪問。

在這上面，我們大數據新產品的設計中心，可以進行很多實時的智能分析，做很多的實驗，對產品進行很多排列組合，看哪一種產品能夠最適合行業，滿足百度的需求。

大數據產品

那么有了這樣的開放能力，下面給大家介紹在這個基礎上大數據部研發出來的三個大數據產品，希望能夠對在座的做實業的朋友有幫助。

第一個產品叫百度司南，專門針對于當企業發展到一定的階段，有了一定的品牌影響力的企業，能夠讓企業對自身的品牌有更客觀的了解，一共是三個方面。第一個是品牌分析，實際上你應該很想知道你的品牌在那個同行業里它的定位怎么樣，周邊的人是如何看待你這個品牌的，對你這個品牌的口碑怎么樣。而且我們把它做到基本上是實時的，你可以此時此刻知道大家對你品牌的口碑到底怎么樣。

另外一方面，關注你的品牌，應該一定有一批已經比較忠實的用戶了，那么這些人除了關注你的品牌，像剛才陳總講的一樣，除了關注你的品牌，他還關心什么別的，他還對什么樣的東西感興趣。這些我們通過基于統計的用戶畫像也能夠告訴你。

另外一個這些人是通過什么渠道來了解到你的品牌，他是通過IPAD，是通過手機，通過看電視，還是通過PC、還是移動互聯網的瀏覽，這樣以后做營銷行為，就知道如何很快的影響到你的受眾，什么樣的渠道是最有效的。那么通過這幾個方式，我們都能夠告訴大家你的品牌到底處在什么樣的狀態。

給大家看兩個司南在品牌上的應用。第一個叫代言人。很多品牌到了后期推廣的時候，都有找代言人的需求。什么樣的代言人在你最想影響的受眾是最有號召力。之前是一些拍腦袋的決策，但是通過我們司南，通過海量的數據，通過海量的用戶行為分析，可以幫助你做一個決策的科學。實際上我們已經通過大數據的分析，可以產生出超過一千家的企業，他們最合適的代言人到底是哪一位。如果哪位老總也想嘗試自己品牌的話，可以和我們合作，我們可以告訴你，通過我們的數據，什么樣的代言人，對于你的受眾會產生最大的品牌號召力。

另外一個是輿情分析，實際是跟品牌的口碑最像。你的企業里有一系列的產品，每一個產品可能有輕微的差異化，就像我們的化妝品一樣，每一款產品在用戶中的口碑到底怎么樣，用戶喜歡這些產品什么樣的功能，不喜歡這些產品什么樣的功能。在之前，很多公司通過調研公司到各個城市，通過實時的訪談獲得一些統計數據。整個過程要耗費一個月左右。通過我們的輿情分析，幾乎可以實時告訴你這個答案，到底有多少用戶是喜歡這個功能，有多少用戶不喜歡這個功能。一個是通過一個月，一個是通過實時，這樣的話就有時間差了。這個時間差就是百度大數據能給傳統行業帶來的競爭力。

這是我們第一款基于大數據的工具，叫百度司南。

另外就是我們的預測平臺產品。預測這個產品說的已經比較多了，這次想跟大家說的是，當我們發布了預測產品，并且取得了比較好的效果，很多公司，或者是一些政府部門會跟我們接洽，能不能幫我們也分析一下數據。比如景點希望我們幫他預測下一步七天的人流到底多還是不多。有的企業希望讓我們幫他預測下一步季度營業額是否能跟上一個季度匹配。

我們現在非常高興的把我們的預測平臺能力開放出來，你不需要再去接洽百度的產品經理做這樣的事情，只要你使用我們的開放平臺上傳你的數據，我們后面就會基于一系列各種各樣的數據分析，智能的算法和百度后臺自己的數據幫你做一些決策和分析。希望能夠幫助傳統企業做決策分析的時候能夠多一些科學的決策依據。

另外一個是我們的推薦。我們現在非常高興把我們這個能力也開放出來，非?？上覀兡壳爸幻鎸?span class="keyword_link">互聯網的站長，站長可以定定制到底想用我們推薦的哪一方面的技術和性能、功能，非常靈活的為他的網站做推薦。但實際上我們最想做到的是把我們這套推薦引擎，和傳統行業結合起來，和很多實時推薦結合起來，在這塊也非常希望傳統的行業能跟我們接洽，把我們這種非常先進的線上推薦的技術和線下的場景結合起來，在線下發揮更大的功能。

三個產品只是揭開了冰山一角，在大數據這個方面，產品設計的想象力其實是很多很多的，我們在這方面也非常興奮，后面我們也會陸續推出一系列的大數據產品，請大家期待。百度愿意與更多的人一起合作，在大數據這個方向上給百度，給行業、給用戶帶來更多的價值。