實現大數據，從小樣本中篩選海量樣本

從小樣本到大數據：概念與誤區

最近兩年產生并記錄的數據，總量占到人類文明以來所有數據總和的90%。我們源源不斷記錄著一切有價值的信息，世界和萬物的變化數據變成一座“自動生長"的金礦，數據分析師和數據挖掘技術則負責從礦山中挖出金子。

“大數據”這個詞早期是IBM和EMC鼓吹的一種商業概念，自誕生之日就有概念包裝的商業基因。明白這一道理就不會過分糾結“到底什么是大數據”，“多大數據算大數據”之類的問題。這一概念包含了我們在面對海量數據環境下的哲學迷思、技術困境、解決方案和由此引發的商業機會。

探討大數據問題前我們先回顧另一個數據界的經典問題——小樣本問題。小樣本的“小"表面指的是數據樣本少，本質則是說現存樣本對特征空間的刻畫能力不足。

“過擬合”問題是小數據時代的核心問題之一，也成就了vapnik這樣的理論巨匠及svm算法。大數據，其顯性特征是超出一般算法或一般硬件計算處理能力的“大”規模數據;其伴隨的另一個特征，就是擁有足以刻畫樣本特征空間以外的"超額"樣本。前者顯性特征推動了并行/云計算的軟硬件發展，后者則從商業模式和數據分析的方法論層面推動了行業變化。

怎么理解這些"超額的樣本"帶給我們的價值呢?顯然，通過數據刻畫對象的全局特征，獲得全體統計規律及關聯規則并不需要這些“超額的樣本”，因此才有“大數據是不是越多越好”，“大數據是否需要抽樣”這樣的辯論，這是在大數據時代之前關心的問題?？梢哉f，糾結于這些問題的人還未觸及大數據的核心價值。歸納一下就是：大數據時代之前，我們處理的是小樣本或適度抽樣后的小數據進行群體規律的知識發現(KDD);在大數據時代，我們依賴從小樣本挖掘出的或原本就已知的經驗規則，通過搜索海量樣本數據發現目標個體來兌現商業價值。

從理論到價值：政府應用實例

大數據在何處?這些擁有富礦的金主包括：工業、金融、通信、科研機構、互聯網企業等。除此之外，還有一個超級礦山擁有者——政府。以美國為例，在公開的美國政府網站Data.gov上，大約有超過40萬各種原始數據文件，涵蓋農業、金融、就業等近50個分類。美國官方稱這么做的目的是“方便公眾更便捷地獲得聯邦政府數據，并通過鼓勵創新突破政府的圍墻而創造性地使用這些數據”。同時，各行業大數據又通過數據分析師的分析結果能極大改進政府的決策行為。

近些年大數據對國家及政府領域的應用案例開始涌現：

1.情感測量及幸福指數

2008年，法國總統薩科齊組建了一個專家組，成員包括以諾貝爾經濟學獎獲得者約瑟夫·斯蒂格里茨和阿馬蒂亞·森在內的20多名世界知名專家，進行了一項名為“幸福與測度經濟進步”(Happiness and Measuring Economic Progress)的研究。該項研究將國民主觀幸福感納入衡量經濟表現的指標，以主觀幸福程度、生活質量及收入分配等指標來衡量經濟發展。

佛蒙特大學計算實驗室的項目Hedonometer

(1)2011年：幸福度來自旅行的遠度

佛蒙特大學的克里斯多夫·丹佛斯主持研究了幸福度與地理位置的關系，他們在2011年從從Twitter上篩選帶有博主地理位置的Tweet。全世界逾18萬用戶發布的3700萬條tweet中，約1%的微博含有這類經緯度信息。

研究發現，人們通常會有兩個最常去的地方，且這兩個地方相距不遠，應該就是家和工作地。為了評估博主的幸福額度，佛蒙特大學的研究小組研制了一種“幸福測試儀”(hedonometer)：這種測試儀能檢測出文本中表示積極、快樂情緒的詞匯(比如，“新鮮的”、“極好的”、“咖啡”和“午餐”)以及表示消極情緒的詞匯(比如，“沒有”、“不”、“討厭”、“該死的”、“無聊的”)。幸福測試儀會以此為根據評出每一條微博的幸福指數。研究團隊發現，離家越遠，人們所發微博中含有的開心詞匯就越多。

(2)2011年：人們沒有以前快樂

2011 12月21日消息，美國佛蒙特大學學者對Twitter上的用詞進行分析后，最終得出“人們沒有以前快樂”的結論。研究稱，自2009年4月以來，人們的幸福感總體呈下行趨勢。該研究報告的主要作者、佛蒙特大學的應用數學家Peter Dodds表示，“人們的幸福感正在下降?！边@是多茲團隊對6300萬Twitter用戶所發tweet時用的460億個單詞分析得出的結論。

(3)2013年：周六幸福度最高

佛蒙特大學計算實驗室的Hedonometer項目組發布了一份推特情感分析報告。這個項目通過自然語言處理，對過去五年中每天發布的千萬條微博進行情感分析，尋找一些反映正面情緒或者負面情緒的關鍵詞，并將其結果記錄了下來。每一年的幸福度最高點都是在12月25號圣誕節，其它幸福度高的日子包括元旦、感恩節、情人節等;從每周來看，人們平均幸福度最高的一天是星期六，而最低的一天是星期二。

2.聯合國全球脈動(global pulse)項目

《大數據促發展：挑戰與機遇》白皮書項目

隨著大數據發展戰得到全球各國高度重視，聯合國秘書長執行辦公室于2009 年正式啟動了“全球脈動”(Global Pulse)倡議項目，旨在推動數字數據和快速數據收集和分析方式的創新。作為該項目的研究成果，由“全球脈動”資深發展經濟學家艾瑪紐爾·勒圖(Emmanuel Letouzé)牽頭撰寫的《大數據促發展：挑戰與機遇》報告于2012 年5 月發布。該報告全面分析了各國特別是發展中國家在運用大數據促進社會發展方面所面臨的歷史機遇和挑戰，并系統給出了在應用過程中正確運用大數據的策略建議。

與聯合國對大數據價值的判斷相呼應，倫敦智庫政策交易所也宣布大數據每年能為英國政府節省330億英鎊。聯合國的報告解釋了大數據如何幫助政府更好地響應社會和經濟指標變化，例如收入、失業、食品價格等。聯合國指出大數據時代已經到來，人們如今可以使用的極大豐富的數據資源，包括舊數據和新數據，來對社會人口進行前所未有的實時分析。數據分析師培訓