清華基于微博分析獲得的大數據幸福指數發現人們周六最幸福，相信大家心情不錯，因此今天不談枯燥的技術。關于大數據的思維、理念、方法論已經被反復消費了，本來我想直接進入交互環節，繼挺兄還是要求先有一部分規定動作，我就先自彈自唱幾十分鐘，既然是漫談，也不見得扣題，說到哪里是哪里。各位有問題，我可以擇時擇機插入討論。
先說大數據思想的形成吧。自從人類開始文字和數字，數據就開始產生。就數據增長曲線而言，極小的初值確實要經歷漫長的過程達到人類能感知的曲線拐點。谷歌前CEO埃里克·施密特曾給出了一個有趣的數據：從人類文明曙光初現到2003年一共產生的數據，只相當于2010年兩天產生的數據量。而一旦越過拐點，“大數據摩爾定律”的滾滾鐵輪下，指數效應爆發：最近兩年產生的數據量相當于之前產生的全部數據量。
在漫長的數據蓄水過程中，數學和統計學逐漸發展，人們開始注意對數據的量化分析，在人類進入信息時代以前這樣的例子就不勝枚舉。比如經濟上，黃仁宇先生對宋朝經濟的分析中發現了“數目字管理”（即定量分析）的廣泛應用（可惜王安石變法有始無終）。又如軍事，“向林彪學習數據挖掘”的橋段不論真假，其背后量化分析的思想無疑有其現實基礎，而這一基礎甚至可以回推到2000多年前，孫臏正是通過編造“十萬灶減到五萬灶再減到三萬灶”的數據、利用龐涓的量化分析習慣對其進行誘殺。
到上世紀50-60年代，磁帶取代穿孔卡片機，啟動了數據存儲的革命。磁盤驅動器隨即發明，它帶來的最大想象空間并不是容量，而是隨機讀寫的能力，這一下子解放了數據工作者的思維模式，開始數據的非線性表達和管理。數據庫應運而生，從層次型數據庫（IBM為阿波羅登月設計的層次型數據庫迄今仍在建行使用），到網狀數據庫，再到現在通用的關系數據庫。與數據管理同時發源的是決策支持系統（DSS），80年代演變到商業智能（BI）和數據倉庫，開辟了數據分析——也就是為數據賦予意義——的道路。
那個時代運用數據管理和分析最厲害的是商業。第一個數據倉庫是為寶潔做的，第一個太字節的數據倉庫是在沃爾瑪。沃爾瑪的典型應用是兩個：一是基于retail link的供應鏈優化，把數據與供應商共享，指導它們的產品設計、生產、定價、配送、營銷等整個流程，同時供應商可以優化庫存、及時補貨；二是購物籃分析，也就是常說的啤酒加尿布。關于啤酒加尿布 ，幾乎所有的營銷書都言之鑿鑿，我告訴大家，是Teradata的一個經理編的，人類歷史上從沒有發生過，但是，先教育市場，再收獲市場，它是有功的。
僅次于沃爾瑪的樂購（Tesco），強在客戶關系管理（CRM），細分客戶群，分析其行為和意圖，做精準營銷。
這些都發生在90年代。00年代時，科研產生了大量的數據，如天文觀測、粒子碰撞，數據庫大拿吉姆·格雷等提出了第四范式，是數據方法論的一次提升。前三個范式是實驗（伽利略從斜塔往下扔），理論（牛頓被蘋果砸出靈感，形成經典物理學定律），模擬（粒子加速太貴，核試驗太臟，于是乎用計算代替）。第四范式是數據探索。這其實也不是新鮮的，開普勒根據前人對行星位置的觀測數據擬合出橢圓軌道，就是數據方法。但是到90年代的時候，科研數據實在太多了，數據探索成為顯學。在現今的學科里，有一對孿生兄弟，計算XX學和XX信息學，前者是模擬/計算范式，后者是數據范式，如計算生物學和生物信息學。有時候計算XX學包含了數據范式，如計算社會學、計算廣告學。
2008年克里斯·安德森（長尾理論的作者）在《連線》雜志寫了一篇《理論的終結》，引起軒然大波。他主要的觀點是有了數據，就不要模型了，或者很難獲得具有可解釋性的模型，那么模型所代表的理論也沒有意義了。跟大家說一下數據、模型和理論。大家先看個粗糙的圖。
首先，我們在觀察客觀世界中采集了三個點的數據，根據這些數據，可以對客觀世界有個理論假設，用一個簡化的模型來表示，比如說三角形?？梢杂懈嗟哪Ｐ?，如四邊形，五邊形。隨著觀察的深入，又采集了兩個點，這時發現三角形、四邊形的模型都是錯的，于是確定模型為五邊形，這個模型反映的世界就在那個五邊形里，殊不知真正的時間是圓形。
大數據時代的問題是數據是如此的多、雜，已經無法用簡單、可解釋的模型來表達，這樣，數據本身成了模型，嚴格地說，數據及應用數學（尤其是統計學）取代了理論。安德森用谷歌翻譯的例子，統一的統計學模型取代了各種語言的理論/模型（如語法），能從英文翻譯到法文，就能從瑞典文翻譯到中文，只要有語料數據。谷歌甚至能翻譯克萊貢語（Star Trek里編出來的語言）。安德森提出了要相關性不要因果性的問題，以后舍恩伯格（下面稱之為老舍）只是拾人牙慧了。
當然，科學界不認同《理論的終結》，認為科學家的直覺、因果性、可解釋性仍是人類獲得突破的重要因素。有了數據，機器可以發現當前知識疆域里面隱藏的未知部分。而沒有模型，知識疆域的上限就是機器線性增長的計算力，它不能擴展到新的空間。在人類歷史上，每一次知識疆域的跨越式拓展都是由天才和他們的理論率先吹起的號角。
2010年左右，大數據的浪潮卷起，這些爭論迅速被淹沒了?？垂雀柃厔?，"big data"這個詞就是那個時間一下子躥升了起來。吹鼓手有幾家，一家是IDC，每年給EMC做digital universe的報告，上升到澤字節范疇（給大家個概念，現在硬盤是太字節，1000太=1拍，阿里、Facebook的數據是幾百拍字節，1000拍=1艾，百度是個位數艾字節，谷歌是兩位數艾字節，1000艾=1澤）；一家是麥肯錫，發布《大數據：創新、競爭和生產力的下一個前沿》；一家是《經濟學人》，其中的重要寫手是跟老舍同著《大數據時代》的肯尼思庫克耶；還有一家是Gartner，杜撰了3V（大、雜、快），其實這3V在2001年就已經被編出來了，只不過在大數據語境里有了全新的詮釋。
咱們國內，歡總、國棟總也是在2011年左右開始呼吁對大數據的重視。
2012年子沛的書《大數據》教育政府官員有功。老舍和庫克耶的《大數據時代》提出了三大思維，現在已經被奉為圭臬，但千萬別當作放之四海而皆準的真理了。
比如要數據全集不要采樣?，F實地講，1. 沒有全集數據，數據都在孤島里；2.全集太貴，鑒于大數據信息密度低，是貧礦，投入產出比不見得好；3.宏觀分析中采樣還是有用的，蓋洛普用5000個樣本勝過幾百萬調查的做法還是有實踐意義；4.采樣要有隨機性、代表性，采訪火車上的民工得出都買到票的結論不是好采樣，現在只做固定電話采樣調查也不行了（移動電話是大頭），在國外基于Twitter采樣也發現不完全具有代表性（老年人沒被包括）；5.采樣的缺點是有百分之幾的偏差，更會丟失黑天鵝的信號，因此在全集數據存在且可分析的前提下，全量是首選。全量>好的采樣>不均勻的大量。
再說混雜性由于精確性。擁抱混雜性（這樣一種客觀現象）的態度是不錯的，但不等于喜歡混雜性。數據清洗比以前更重要，數據失去辨識度、失去有效性，就該扔了。老舍引用谷歌Peter Novig的結論，少數高質量數據 復雜算法被大量低質量數據 簡單算法打敗，來證明這一思維。Peter的研究是Web文本分析，確實成立。但谷歌的深度學習已經證明這個不完全對，對于信息維度豐富的語音、圖片數據，需要大量數據 復雜模型。
最后是要相關性不要因果性。對于大批量的小決策，相關性是有用的，如亞馬遜的個性化推薦；而對于小批量的大決策，因果性依然重要。就如中藥，只到達了相關性這一步，但它沒有可解釋性，無法得出是有些樹皮和蟲殼的因導致治愈的果。西藥在發現相關性后，要做隨機對照試驗，把所有可能導致“治愈的果”的干擾因素排除，獲得因果性和可解釋性。在商業決策上也是一樣，相關性只是開始，它取代了拍腦袋、直覺獲得的假設，而后面驗證因果性的過程仍然重要。
把大數據的一些分析結果落實在相關性上也是倫理的需要，動機不代表行為。預測性分析也一樣，不然警察會預測人犯罪，保險公司會預測人生病，社會很麻煩。大數據算法極大影響了我們的生活，有時候會覺得挺悲哀的，是算法覺得了你貸不貸得到款，谷歌每調整一次算法，很多在線商業就會受到影響，因為被排到后面去了。
下面時間不多了，關于價值維度，我貼一些以前講過的東西。大數據思想中很重要的一點是決策智能化之外，還有數據本身的價值化。這一點不贅述了，引用馬云的話吧，“信息的出發點是我認為我比別人聰明，數據的出發點是認為別人比我聰明;信息是你拿到數據編輯以后給別人，而數據是你搜集數據以后交給比你更聰明的人去處理?！贝髷祿茏鍪裁?？價值這個V怎么映射到其他3V和時空象限中？我畫了個圖：
再貼上解釋?！耙娢ⅰ迸c“知著”在Volume的空間維度。小數據見微，作個人刻畫，我曾用《一代宗師》中“見自己”形容之；大數據知著，反映自然和群體的特征和趨勢，我以“見天地、見眾生”比喻之?！爸蓖苿印拔ⅰ保ㄈ绨讶巳杭毞譃閎uckets），又拉動“微”（如推薦相似人群的偏好給個人）?！拔ⅰ迸c“著”又反映了時間維度，數據剛產生時個人價值最大，隨著時間decay最后退化為以集合價值為主。
“當下”和“皆明”在Velocity的時間維度。當下在時間原點，是閃念之間的實時智慧，結合過往（負軸）、預測未來（正軸），可以皆明，即獲得perpetual智慧?！段饔斡洝防镄稳菡婕賹O悟空，一個是“知天時、通變化”，一個是“知前后、萬物皆明”，正好對應。為達到皆明，需要全量分析、預測分析和處方式分析（prescriptive analytics，為讓設定的未來發生，需要采取什么樣的行動）。
“辨訛”和“曉意”在Variety的空間維度?；诖篌w量、多源異質的數據，辨訛過濾噪聲、查漏補缺、去偽存真。曉意達到更高境界，從非結構數據中提取語義、使機器能夠窺探人的思想境界、達到過去結構化數據分析不能達到之高度。
先看知著，對宏觀現象規律的研究早已有之，大數據的知著有兩個新特點，一是從采樣到全量，比如央視去年“你幸福嗎”的調查，是街頭的采樣，前不久《中國經濟生活大調查》關于幸福城市排名的結論，是基于10萬份問卷（17個問題）的采樣，而清華行為與大數據實驗室做的幸福指數（繼挺兄、我、還有多位本群群友參與），是基于新浪微博數據的全集（托老王的福），這些數據是人們的自然表達（而不是面對問卷時的被動應對），同時又有上下文語境，因此更真實、也更有解釋性。北上廣不幸福，是因為空氣還是房價或教育，在微博上更容易傳播的積極情緒還是消極情緒，數據告訴你答案?！吨袊洕畲笳{查》說“再小的聲音我們都聽得見”，是過頭話，采樣和傳統的統計分析方法對數據分布采用一些簡化的模型，這些模型把異常和長尾忽略了，全量的分析可以看到黑天鵝的身影，聽到長尾的聲音。
另一個特點是從定性到定量。計算社會學就是把定量分析應用到社會學，已經有一批數學家、物理學家成了經濟學家、寬客，現在他們也可以選擇成為社會學家。國泰君安3I指數也是一個例子，它通過幾十萬用戶的數據，主要是反映投資活躍程度和投資收益水平的指標，建立一個量化模型來推知整體投資景氣度。
再看見微，我認為大數據的真正差異化優勢在微觀。自然科學是先宏觀、具體，進入到微觀和抽象，這時大數據就很重要了。我們更關注社會科學，那是先微觀、具體，再宏觀、抽象，許小年索性認為宏觀經濟學是偽科學。如果市場是個體行為的總和，我們原來看到是一張抽象派的畫，看不懂，通過客戶細分慢慢可以形成一張大致看得懂的現實圖景，不過是馬賽克的，再通過微分、甚至定位個人，形成高清圖。我們每一個人現在都生活在零售商的bucket中（前面說的樂購創造了這個概念），最簡單的是高收入、低收入這類反映背景的，再有就是反映行為和生活方式的，如“精打細算”、“右鍵點擊一族”（使用右鍵的比較tech savvy）。反過來我們消費者也希望能夠獲得個性化的尊崇，Nobody wants to be nobody today。
了解并掌握客戶比以往任何時候都更重要。奧巴馬贏在大數據上，就是因為他知道西岸40-49歲女性的男神是喬治·克魯尼，東岸同樣年齡段女性的偶像則是莎拉·杰西卡·帕克（《欲望都市》的主角），他還要更細分，搖擺州每一個郡每一個年齡段每一個時間段在看什么電視，搖擺州（俄亥俄）1%選民隨時間變化的投票傾向，搖擺選民在Reddit上還是Facebook上，都在其掌握之中。
對于企業來說，要從以產品為中心，轉到以客戶（買單者）甚至用戶（使用者）為中心，從關注用戶背景到關注其行為、意圖和意向，從關注交易形成轉到關注每一個交互點/觸點，用戶是從什么路徑發現我的產品的，決定之前又做了什么，買了以后又有什么反饋，是通過網頁、還是QQ、微博或是微信。
再講第三個，當下。時間是金錢，股票交易就是快魚吃慢魚，用免費股票交易軟件有幾秒的延遲，而占美國交易量60-70%的高頻程序化交易則要發現毫秒級、低至1美分的交易機會。時間又是生命，美國國家大氣與海洋管理局的超級計算機在日本311地震后9分鐘發出海嘯預警，已經太晚。時間還是機會?，F在所謂的購物籃分析用的其實并不是真正的購物籃，而是結帳完的小票，真正有價值的是當顧客還拎著購物籃，在瀏覽、試用、選擇商品的時候，在每一個觸點影響他/她的選擇。數據價值具有半衰期，最新鮮的時候個性化價值最大，漸漸退化到只有集合價值。當下的智慧是從刻舟求劍到見時知幾，原來10年一次的人口普查就是刻舟求劍，而現在東莞一出事百度遷徙圖就反映出來了。當然，當下并不一定是完全準確的，其實如果沒有更多、更久的數據，匆忙對百度遷徙圖解讀是可能陷入誤區的。
第四個，皆明。時間有限，就簡單說了。就是從放馬后炮到料事如神（predictive analytics），從料事如神到運籌帷幄（prescriptive analytics），只知道有東風是預測分析，確定要借箭的目標、并給出處方利用草船來借，就是處方性分析。我們現在要提高響應度、降低流失率、吸引新客戶，需要處方性分析。
辨訛就是利用多源數據過濾噪聲、查漏補缺和去偽存真。20多個省市的GDP之和超過全國的GDP就是一個例子，我們的GPS有幾十米的誤差，但與地圖數據結合就能做到精確，GPS在城市的高樓中沒有信號，可以與慣性導航結合。
曉意涉及到大數據下的機器智能，是個大問題，也不展開了。貼一段我的文章：有人說在涉及“曉意”的領域人是無法替代的。這在前大數據時代是事實?！饵c球成金（Moneyball）》講的是數量化分析和預測對棒球運動的貢獻，它在大數據背景下出現了傳播的誤區：一、它其實不是大數據，而是早已存在的數據思維和方法；二、它刻意或無意忽略了球探的作用。從讀者看來，奧克蘭競技隊的總經理比利·比恩用數量化分析取代了球探。而事實是，在運用數量化工具的同時，比恩也增加了球探的費用，軍功章里有機器的一半，也有人的一半，因為球探對運動員定性指標（如競爭性、抗壓力、意志力等）的衡量是少數結構化量化指標無法刻畫的。大數據改變了這一切。人的數字足跡的無意識記錄，以及機器學習（尤其是深度學習）曉意能力的增強，可能逐漸改變機器的劣勢。今年我們看到基于大數據的情感分析、價值觀分析和個人刻畫，當這些應用于人力資源，已經或多或少體現了球探承擔的作用。
現在的深度學習在圖像搜索、語音識別和自然語言理解上在向人類的智能靠近。今天數據價值化，數據開放和共享，估值和定價，來不及講了，以后有機會再交流。
精彩問答環節：
@Caesar China：澤字節后是東字節，我們的DCI平臺已經是兩位數東字節了，不知道吧
答：很感興趣你們的DCI平臺。澤字節后面是堯字節（yottabyte），美國國安局的猶他數據中心據說是按照堯字節的級別設計的
@zhant：全量采樣的成本和代價是需要重點評估的。
答：是的，我上傳一張示意圖。
吳彬能：因特爾在大數據方面的主要工作是哪塊？大家印象因特爾還是以硬件為主
甘沙：我們公司一方面是提供大數據的硬件，即計算、存儲和互聯，服務器和機架設計，另一方面也提供Hadoop發行版和上面的分析、管理工具
賈鵬：金融方面的應用好像比較少
甘沙：現在不是說要通過大數據重建信用體系嗎，這是金融啊
雷濤：我來演繹一下Victor的全量數據的思維，不是強調全部數據量，而是從全局視角重新看個體的思維。例如自然語言處理里常用的LDA，SVD分解，都是把每一個個體語義投影到一個公共參照體系中找到絕對坐標。視覺計算里人臉識別的PCA，也是在全局數據（公共臉）中定位每一張清晰臉。 全量的思維可以更清晰的描述個體。對全量數據不再追求統計意義的總攬概要和趨勢，而是更清晰地揭示個體。
甘沙：這是很好的解讀。老舍那一章的標題是More，但中譯本加入了“樣本=全體”的副標題，因此成為國內的主要理解方式。另外，最近機器學習界開始認為LDA和SVD這類的方法已經不太適合大數據對個體刻畫的需求，因為他們的指數分布假設忽略了長尾。
張云松：拋開傳統信用風控模型，基于自然人的應用性格數據如何采集和量化分析應用于信用風險的估計？
甘沙：現在方法很多，所謂一切數據皆為信用數據。一是通過數據共享，利用個人在淘寶、京東、支付寶、電信方面的數據，另一個是自己采集信號。ZestFinance有7萬多個信號，國內類似拍拍貸也有很多信號。比如星座，某些星座的容易逾期；用的瀏覽器，IE6是網吧標配；上網時間，半夜兩三點說明沒有正當職業；填寫個人信息的時候耗時太多，說明可能有假；以前上班時間是用一個IP地址登錄的，突然換了個地址，是不是失業了等等，很多信號疊加起來形成個人信用的圖景。