大數據應用層次和案例及展望

　第一部分是大數據發展的動力，第二部分是想跟大家分享一下大數據在互聯網里面的應用的各種層次，就是它都有哪些應用場景，第三方面是不僅僅是互聯網行業，我們想看看其他行業未來大數據都有什么樣的機會。因為時間比較短，所以每一塊我都只能是提綱挈領的去跟大家分享一下，大家有問題可以等我下來以后交流。

　　大數據這兩年為什么這么火，除了技術本身逐漸成熟以外，我認為還有一個很重要的驅動力，這個數據大家應該有概念，這個數據是是網民數，今年上半年網民數有6.7億，這個數據是什么？

　　通過手機上網的比例，就相當于說，有6億的手機網民。這個意味著這什么呢？因為大數據或者一樣新的技術，一定是要有新的商業價值，才會發展的比較好。那我們可以看到，移動互聯網發展對于大數據來說是有兩個好處的，第一個是數據采集的成本降低了，就是從數據采集的角度來說成本降低了，原來我們可能是通過比如說攝像頭，或者其他的方式采集數據，通過攝像頭采集數據的話采集成本成本就很高。但是由于移動互聯網的發展讓我們采集數據效率更快，另外是說移動互聯網采集數據和PC采集的數據完全不一樣的是，對于用戶來說我們可以采集到更完整的信息。原來在PC的時候，他下班以后你可能就不知道它在干嗎，但是手機我們現在可能隨身攜帶手機，比見你的家人還要多，從睡覺到起床的時候，從那一刻打開手機，那采集的時間完整度也是比較的。

還有一些重要的就是產品信息，這個產品信息和PC互聯網時代不一樣的，什么意思呢？原來PC互聯網里面沒有的數據是什么呢？比如說位置信息，就是你的精確的比如說你的經緯度，那位置信息可以反映什么呢？比如說你要是已經結婚了，搞婚外戀那你就要小心了，你在哪里活動很容易都被知道。不是說安全問題，就是說位置其實能反映你的消費能力，很容易的反映到你的消費能力，比如你住哪個小區、經常出沒哪些商場。包括你移動的速度也能反映到你的狀態，你經常性移動速度比如說定期的周末移動速度很快，很可能是因為你在跑步。但是在PC互聯網時代是不太容易知道。由于移動互聯網，讓我們對這個人全方位的了解更加容易了。

　　另外一個很重要的原因是移動互聯網又是數據反饋、數據應用的一個很重要的渠道，我知道他可能在一個消費場所里面有消費欲望的時候，我可能通過大數據及時給他推薦他可能感興趣的信息。所以簡單說我認為除了技術逐漸成熟之外，很重要的是移動互聯網的發展，我們在用大數據的時候，一定是要充分的運用移動互聯網的數據，不僅僅是你企業擁有什么數據，一定要想辦法要跟移動互聯網的數據打通，因為這里面太多有價值的信息。

這個我剛才說過了，另外一個我說到的移動互聯網，移動互聯網還有一個很重要的特點，為什么那它對數據依賴度這么高，PC互聯網的時候，我們看這里面這個屏幕，這個是12還是13寸的屏幕很大，對產品經理來說，或者對于營銷人員來說，比如說他看廣告，他可以隨便放，反正一個頁面可以放10個廣告，那我命中概率還是比較高的，但是一個手機這么小屏幕，它能可以隨便放10廣告嗎？比如你們上次接上房產網站，經常一打開就是滿屏的廣告，你在手機上做不到，因為那樣用戶體驗一定很差，所以我為什么這個手機上我只放三個或者兩個廣告，那產品經理是要拍腦袋去決策還是說他有什么樣的辦法投其所好，拍腦袋的時代已經過去了。由于屏幕小就更要我們去了解這個用戶是誰，他的興趣愛好是什么？然后我投廣告的時候就更加精準，所以我們看到6億移動互聯網民里面都需要用大數據去服務他們，你說這個市場多大，對吧？

因為我之前上一家公司是一個社交公司，在深圳也是比較大的，也是親身感受到移動互聯網的魅力。因為那時候我看到某個你們經常用的一個社交應用，它在2011年底的時候，手機用戶活躍量已經超過PC的活躍量，所以我們可以通過那個數據親眼看到移動互聯網是怎樣超過PC互聯網，就那個瞬間我們就能感覺到大數據的應用價值越來越大。你們需要服務這6億網民，你要想辦法把6億網民的數據或者是移動互聯網數據收集回來，為你企業的運營，精細化營銷所用。

　　第二方面我會跟大家分享一下，在互聯網企業里面數據的應用體系都有哪些應用層次。我們看到，上面有應多應用層。第一層是業務運營監控，第二是用戶體驗優化，第三層是精細化營銷層，第四、五、六層分別是傳播、經營和戰略分析，今天不可能都完全講，因為講完這個金字塔體系要兩天。

我主要跟大家分享，這個金字塔要要用好，底層要做的很好才行。底層是什么呢？這個數據基礎平臺很重要。數據基礎平臺如果從業務價值的角度來看，要做到什么呢？我希望通過搭建這個數據平臺，除了數據質量要提升，數據準確度、數據穩定性，還有很好的業務價值。

那這一層的業務價值是什么？我希望是我對這個互聯網企業的用戶了解，都跟我的家人一樣了解，底層搭建的目的的業務的含義，就是我對每個客戶、每個用戶都非常了解，那我怎么了解，我就給他打標簽，我們從這個叫用戶畫像，如果你畫像做的不好，你上面有再好的算法，如果你數據完整度不夠的話，你的算法起得效率很容易在碰到瓶頸。所以底層這一塊，要想辦法把公司的數據管理起來，把各個業務的部門的數據打通。

在傳統的企業，甚至一些互聯網企業里面，也是也很多的問題，比如說數據質量不好、亂打點，你也不知道這個數據的背后的含義是什么，元數據管理也做不好，有很多各方面的問題。而其中最大的問題數據不打通，因為在是有很多大型的企業里面，是有不分享的。不同業務部門之間都不太愿意共享數據，甚至怕別的部門通過中立部門偷看到他們的數據。我們技術人員不太好改變這個問題，除非老板去授權。你要想辦法讓去影響到老板，讓老板重視這個事，讓老板授權去打通數據，然后做一個更完全的用戶畫像，你后面再做上面的應用的時候，個性化推薦的營銷、用戶航游戲等等，那個效果它會更好。

你要跟老板講，數據就需要像無形資產一樣要把它管理起來。往往是我們一上來大數據團隊就想辦法做各種算法、做各種優化，但是這個只是在局部做事情，我希望你們可以站的更高，跟老板溝通，把數據當成一個無形資產管理起來，專門形成數據整合、數據質量管理的委員會。這才有可能把數據充分的挖掘，所以我今天更多的不是講算法的問題，在這一部分我要強調的是數據怎么去打通和管理，然后下面我們各種層面的才可以更好的優化。

關于應用案例，我舉幾個案例。我會跟大家分享一下業務運營監控、信息化運營、用戶體驗優化，這幾個層面我簡單舉幾個案例。

　　關于業務運營監控。我統計過BI的同事的工作，很多時間他們是在分析老板問的問題“數據為什么下跌”。然后你經常遇到這種問題的時候，就急急忙忙的、很匆忙的去跑數據，然后老板又跳出來說你怎么那么慢，你告訴他說，這個數據要兩天后我才能算出來，或者三天后才可以算出來，那沒辦法對吧？經常是遇到這種問題。那怎么解決這種問題呢？那既然要花那么大工作量，為什么不把它IT化。也就是說，你可以跟業務人員一起梳理他們的KPI，你就假設他的KPI下跌的時候，可能有哪些分析緯度。

現在有一些開源的軟件，是可以做成腦圖的方式的，同時，腦圖中哪個節點有異動，你用不同的顏色標出來，用計算機自動的標注出來。如果你能把這個事情做好，那下跌的問題你就如容易發現，不用重新提出。因為你這個數據脈絡已經梳理出來了，我們每天去監控，業務人員看了這張圖就知道，也許這個點標紅，那個點，要值得關注，他就不用你們去寫報告，或者提數據，所以這個事情是非常重要的。怎么樣去打造一個數據體系，完整的把企業的運營監控跟數據相關的脈絡都監控起來。

　　這個好比是我們做出了一個智能的體溫計，每天我去做這個體溫，他的運營過程中有什么問題，通過我的數據手段去測，一測38度那就發燒。

　　第二方面是用戶生命周期管理。一個完整的用戶分為獲取、磨合、成長、成熟、衰退和離開這6個階段，對于互聯網用戶來說，每個階段都可以用我們的大數據，用我們的算法去輔助它，更好的做優化。比如說我們在獲取用戶階段，怎么去挖掘潛在客戶我們可以通過很多算法，邏輯回歸、決策樹、隨機森林等等，很多算法幫助去發現潛在客戶，包括流失也是。

你們覺得做用戶防流失在哪個階段做比較合適？成熟期還是衰退期還是哪些階段？成長？還有嗎？磨合？差不多每個階段說完了，就差獲取期了。防流失有兩個的階段，磨合期和成熟到衰退的過渡階段，但是磨合期的效果是比較好的。為什么呢？很多人喜歡做衰退時期的防流失，但這方面但工作像啃一塊硬骨頭，因為就跟談戀愛一樣，如果這個人跟你談了8年了，想要跟你分手，你怎么再挽留，通過什么方式挽留也沒用，即使歐洲游花10萬8萬也沒用。但是磨合期談了兩三個月，你可能去郊區轉一轉，花了可能2000、3000塊錢，可能還不用，如果當天來回還不用，就有可能不分手了。這性價比有多高，所以我花那么多錢，去做防止衰退，還不如再找一個新的女朋友。所以你們做算法的時候要注意，不要一直往這個硬骨頭去啃，雖然說什么忠誠客戶什么啊，客戶價值有多高，但是對互聯網產品來說，他用腳投票，轉換門檻低，他很容易就切走了，所以你們要聚焦很容易出效果的那個地方。

而且我們整套體系做完以后，你們就不用每次都提數據、挖數據，然后來寫報告，幫業務人把尤其流失用戶提出來，如果你模型固化以后，你可以把算法的規則放在生產系統里面，那這個生產系統每天去或者每周去預測下一周這個用戶是需求什么，是屬于高風險流失還是屬于高付費的概率的用戶，你可以讓算法自動的給它打標簽，那樣業務系統就自動滾動起來。所以我今天說了很多都是希望把很多算法、很多分析能力IT化，這個行業里面有一個DT就是這個概念，我希望我把很多能力就IT化的搞起來，這樣我就重點去優化這個算法就行了?？赡軆扇齻€月去優化一次算法。

　　第三個面是防作弊，因為其實在移動互聯網上面推廣，至少有一半是假量。按下載付費的情況下，你怎么去發現這些用戶是假的呢？我們通過數據可以幫公司節省推廣費用。防作弊最核心的是什么？最核心的算法是講，看這個用戶是不是真的是人？那你設計緯度和指標的時候，你知道正常人是怎么樣的，不正常的人是怎么樣的。這個留存是看他是不是正常的一個人的其中一個緯度而已，我只是今天把這個緯度展開給你看看。

　　對用戶量產品來說，用戶的的留存率是比較有規律的，比如說對于游戲來說，留存率屬于冪函數分布的，什么叫留存率？比如說今天我發展了100個新用戶，第二天我可能就留下了，第二天只有30個人登陸我這個游戲，到第三天只有20%的人登陸我這個游戲，這個比例就是留存率，很多時候考核渠道質量，運營人都會看這個渠道的留存率。

　　假設產品質量不變的情況下，通過留存率，通過算法去對幾萬個渠道做了聚類。我們發現，這邊是一日留存，這個是三日留存，我們回想一下，這個一日留存一定比三日留存高，對吧，因為不可能反過來。不好意思，不可以反過來，你可以看看，那反過來是哪些渠道？這類渠道是反過來的，就是三日留存率遠遠比一日留存率高。一看這個渠道，渠道就是想辦法做三日留存率的作弊，就是第三天通過某種手段，用機器人或者人工手段的讓它活躍一下。中間那個渠道還行，其他都比較差，那算法這個可以幫助渠道人員發現這個渠道的質量。甚至可以拿算法的結果給這個渠道打折扣。

　　剛才我說過，防作弊的核心思想是看這個渠道來的用戶是不是正常一個人，那正常的一個人是什么呢？比如說我從用戶行為來看，你們用社交軟件，不會天天來換你的頭像，設置頭像，如果一個渠道來了以后大部分的用戶都是換頭像，假設，但作弊的人不會那么笨，假設都是來換頭像，那這個渠道一定是有問題，那你就可以用什么？關鍵誰操作，占總活躍度的比例來做一個值，就正常的人，應該是A操作可能占總活躍率可能是占80%或者70%，結果別的渠道來了，跟這個不一樣，那就很容易發現。還有其他，比如說它的登錄的一些規律，比如說你發現這個用戶，突然在這個渠道凌晨2點中，在山東的某一個小地方激活了100萬的用戶，那你覺得可能有問題，整個地方也沒有那么多人，甚至大半夜這么齊刷刷的一批人就上來了。

　　我剛才簡單過了一下大數據在互聯網企業應用的一個框架和金字塔以及幾個簡單的案例，然后我們可以看看其他行業大數據都有哪些比較好玩的產品。我認為大數據在應用層次上，用幾個層次，一是導航儀，第二個方向盤，第三個發動機。

導航儀是什么呢？導航儀一般都是外置在汽車上。那比如說我們通過一些數據分析，去給老板做決策，我覺得這個就是叫導航儀；方向盤是什么呢？它已經嵌到生產系統里面，比如說我們做的個性化推薦，防流失等等；還有一種就是發動機，大數據已經是成為企業很重要的一個驅動力。

　　比如說在教育這個行業我們看到的，通過大數據去驅動它的商業模式的發展，我的有一個朋友創業做了一年，通過大數據做教育，現在估值有2、3億美金了，已經融到B輪了，那怎么做到的？很簡單，＝打一點，就是我們看到K12，K12就是中小學生的教育，中小學生的教育里面有一個很剛需的痛點是寫作業，大家知道，寫作業如果找不到答案怎么辦，我們小時候就是給別人兩毛錢，讓別人幫助我寫作業。但是現在不用這樣了，他拿起手機打開一個APP，然后他對著作業拍一個照片，然后答案就出來了，就是通過圖像識別的手段，把文本提取出來，通過算法推薦答案。

所以我們在思考，比如說思考大數據創業的時候，如果通過大數據去幫助別人，比如說剛才說了做方向盤、導航儀，這個是可以的，這個肯定沒有問題，但是我這里更喜歡的是說大數據做一個業務發動機、引擎，這種是最有價值的。

　　第二個是什么呢？金融領域，金融領域給我們解決了一個很大的問題就是信用的問題，其實就是信息不對稱，或者我們簡單來說，大數據最終目的是什么？就是通過數據去減少信息不對稱，你看我們為什么要整合數據，為什么要反復通過算法去發現數據里面的規律，就是為了充分的減少信息不對稱，金融領域也一樣。

比如說，我們可以看到賣保險的，賣保險的現在也在用大數據，原來你去買保險的時候，對于車險公司核心是要發現那些出事概率比較低的人，就是開車習慣比較好的人，那你怎么通過大數據發現這些人？原來是去交管局查違章紀律，這種是很常規的一種手段，但是在大數據時代就有新的方法。比如說手機導航，比如說你保險公司可以跟手機導航企業合作。因為導航儀就就充分記錄了你開車的各種習慣，你是不是經常急加速、急減速，你是不是經常開夜車等等，那這些其實如果經常開夜車的出事概率一定是比這個普通的用戶要高的，因為畢竟晚上的視線、視野不太好，包括你經常急加速、急減速的話，那這種人也是值得注意。這也是通過大數據檢驗。

還有貸款，那電梯的數據為什么跟小額貸款有關系？在紐約有一個公司把紐約市整個電梯數據都收集起來，作為中小企業貸款的一個參考緯度，但不是絕對的，不是充分必要條件，那是一個參考的緯度。那為什么電梯數據對它有幫助？因為如果說這個企業所在的樓層，如果去年來的人次是是10萬人，今年突然變成5萬人次了，或者每月都有明顯下降的過程，那是不是這個企業有某方面的問題。所以我們想想，我們可以打開我們的思路，很多數據未來還是可以充分挖掘的。

現在有公司用社交網絡數據做信用評估的一個緯度，做他的信用能力的評估，比如說假設你有新浪微博的數據，如果這個人他的粉絲里面有10%是加V的，那你覺得這個人是不是比一般的人信用好一些，作為參考緯度，不是充分必要條件。那還有比如說這個人經常在微博上發言，一周發個幾次，那這個人也會好一些，因為他是比較有社交表現欲人，他在欠債的時候不會跑掉，對吧？或者是你會發現他經常訪問一些兩性論壇、求包養等等，你可能就要給他的信用降低，萬一哪天染上病還不起你的錢?；蛘咴谝恍┵€博論壇上發言，因為好賭成性，誰知道他借你的錢是不是拿去賭博去了。

　　未來還有這個智能家居，未來你的洗衣機可以告訴你，說主人我肚子里面已經有一條黑色的褲子了，已經放了一個白色的襯衫進來，你這樣是有風險的，萬一染色了怎么辦，還有一個更狠的，它告訴你，你這個衣服已經洗了100次了，然后按下去告訴你說，這個品牌在打折，你要不要再某電商網站下單？你看到這個數據你都不好意思，生怕別人看到。還有，冰箱告訴你說，雞蛋快沒了；酸奶快過期了，然后更厲害的告訴你說你缺乏維C了，因為它通過你吃的食物，知道你營養不太均衡。

　　包括360做的智能攝像頭，比如說我們可以通過圖象識別，知道這個門窗被打開了，這里面它一個消息，我家里的門窗被打開了，包括還有一些陌生人進入家里也會提醒你，因為我一會就要出差了，也許我出差以后，它會告訴你家里進來一位帥哥，那我就會很緊張。

　　所以大數據未來很好玩。攝像頭告訴你父母摔倒了，這個很剛需是吧？還有攝像頭可以告訴你父母身體健康有問題，為什么？比如說通過它的步數，大概走路的步數，大概知道他走路變慢。還有互聯網，其實未來更多的大數據是互聯網，你也可以看到餐廳里面的數據都會聯網，聯網以后干嘛，以后位置都可以競價，那會產生新的商業模式，你可以預定位置，預定靠窗戶的。

　　大數據的幾個誤區。

　　第一個是所以我剛才說了，也許獲取數據的方法比數據挖掘的方法更重要。沒有數據，就相當于做廚師一樣，沒有好的菜，即使你廚藝再高超也不行。

那第二誤區是數據孤島依然是很嚴重的問題，這個我說過了；

第三個誤區，業務剛開始或者是業務體量小的時候，不需要數據，這是錯誤的。無論是在360也好或者其他互聯網企業，產品上市最后一步就是要他設計數據采集體系，一開始就要有數據，如果產品上線后來再想要數據的話就比較困難了。

第四個誤區，只要大數據就夠了，不需要小數據，這不行，大小數據要結合。

第五，大數據是技術人員的的事情，這個不一定，另外有很多算法是把業務經驗考慮進來的。比如說我們之前做的那些社交網絡推薦里面，能把你前女友找出來的算法，這就會用到一些社會學的理論，比如說你為什么跟這個人關系比較好，其實是通過社會學里面很簡單的一個理論，就是你們的共同好友數就可以知道你們的關系緊密度，所以這個是很重要的。

第六個誤區，不要老想著大數據問題，也許是產品或服務架構的問題。因為曾經有一個出版社的老板問我，他說傅總，你看我們很多書把京東上賣，我怎么有什么辦法可以把京東的數據拿過來；我說你以為我是黑客啊，把它的數據拿過來，即使它拿給你也是一些結果層的數據，他不會給你個人層面的明細數據，也沒有意義。我就跟他說，其實核心是你的產品邏輯沒想好，如果你有一個APP，讓所有的買過你的書都回到這個APP里面，那你的數據就可以采集回來了，因為你買完書以后，如果發現這本書不好，你總想去溝通一下，或者罵他一下，對吧？但是現在沒有渠道去直接罵那個作者，或者他隨意寫個話你非得跟他溝通一下，比如說像劉總書寫得的很好，你非得跟他溝通一下，那你就得用APP跟他溝通。