大數據泡沫時代：是時候對大數據回歸理性了

大數據時代來臨，社會對數據人才的理解和評價存在泡沫，是時候需要回歸到理性。從智聯網的招聘信息看到，很多公司招聘高級數據分析，都特別提出類似的要求：熟練使用SAS、SPSS、R等工具。這些軟件都是統計軟件，里面的算法都是上個世紀不懂公司業務的人弄出來的。既然是統計領域的知識，為什么特別強調這部分知識呢？其他知識重要性都較輕嗎？公司不需要？

很多公司招高級數據分析如此，阿里巴巴數據分析專家盧輝寫的書也有類似的問題。很多人都有光環效應（他們認為由于阿里的數據厲害，所以阿里的數據分析專家寫的都是對的，其實阿里發展好，是整個團隊多年努力出來的）。目前開始有些相對聰明的人慢慢從這個泡沫中從模糊中感覺到不妥，而我本身就是讀統計的，由于敢于說真話讓我先后被兩個中國新聞人物器重和教導。經驗不是一篇文章就能說清楚，我這里只說說我對阿里巴巴數據分析專家盧輝著的書《數據挖掘與數據化運營實戰》，下文簡稱盧書的一些看法，希望推動社會對數據人員的認識更理性。
     CDA數據分析師是指在互聯網、零售、金融、電信、醫學、旅游等行業專門從事數據的采集、清洗、處理、分析并能制作業務報告、提供決策的新型數據分析人才。CDA數據分析師覆蓋了國內企業招聘數據分析師所要求的所有技能，包括統計知識、軟件應用（SPSS/SAS/R等）、數據挖掘、數據庫、報告撰寫、項目經驗等。CDA數據分析師分為LEVEL ⅠⅡⅢ三個等級，成為一名合格的CDA數據分析師能夠勝任企業不同層次的數據分析工作。 
筆者去年年底看了盧書，有些地方跟筆者有共識，但是書上也有很多問題。

先舉個例子，大家都知道同樣頭暈，病根可能是不同的，所以學醫的學生全部科目都要學，實習要全部科室都走一趟。如果醫生知識面不夠廣的話，就容易誤診。如果你同意上面例子的話，那么統計方面，知識面不夠廣就會有問題，這結論大家就能理解了。

例如盧書第17頁提到“數據挖掘很多時候并不需要特別專業的統計背景作為必要條件，不過需要強調的是基本的統計知識和技能是必需的”。什么才算基本？懂法律才算最基本吧？統計法規定統計的職權是調查、報告、監督看出，國家強調的是調查，不是統計分析。而第2章提到統計分析與數據挖掘的差異以及書后面介紹的內容，看出盧書作者對統計的認識只停留是統計分析上。這樣有什么問題呢？

第6章數據挖掘項目完整應用案例演示，提到某公司存在用戶流失的情況，大家都很自然想到調查原因，有些原因可以通過分析日志記錄的用戶行為數據就能知道大概的問題，也可能公司并沒有相關的數據，需要做調查，包含市場調查或業務調查。不論是否有相關的用戶行為數據，都屬于統計這個大范圍內。

但是盧書在第6章提到的方法，浪費大量人力物力，卻沒得到大家真正關心的答案。書中介紹的做法是：“本案例主要集中是3個方面：1、模型投入應用后提前鎖定有高流失風險的高活躍用戶群體；2、可以將建模過程中發現的有價值的，最可能影響流失的重要字段和指標選擇性地提供給運營方；3、針對影響流失的核心指標和字段，可以提供給業務方，作為參考線索?！币簿褪腔撕芏嗟臅r間和人力成本卻沒直接回答流失原因，對于沒有相關的數據，不懂調查也不想做調查的人就說這不是他們的工作范圍。

另外，盧書封面寫“以業務為核心，以思路為重點，以挖掘技術為輔佐”，這點筆者同意，但是書中內容多處違背這個道理。例如按照“以業務為核心，以思路為重點”的說法，業務分析和報告應該是具有邏輯性，可讀性。但是盧書中第17頁提到“神經網絡挖掘技術，它里面的隱蔽層就是一個黑箱，沒有人能在所有的情況下讀懂”“在實踐應用中，這種情況常會讓習慣統計分析公式的分析師或者業務人員感到困惑”“只要模型能正確預測客戶行為”“業務部門、運營部門不了解技術細節，又有何不可呢？”按照“以業務為核心，以思路為重點”的說法，計算不符合業務邏輯的情況是應該選擇其他方法去實現，但盧書采用了“以挖掘技術為主，思路為輔”的做法，以只要能正確預測用戶行為試圖讓大家覺得這樣做可行。試想如果黑箱算法預測的結果出了問題，容易查問題和解決嗎？

面對著業務人員對他們使用的計算不理解時，盧書第59頁提到的做法是“業務團隊”“應該具備”“能理解數據分析師的分析報告”。這再一次為上一個說不清的問題找了個借口。真正以“以業務為核心，以思路為重點”的做法，是要求數據分析師的報告要讓業務團隊的人看得懂。統計法規定統計的職權是調查、報告、監督。報告最起碼就是要讓別人看得懂，有可讀性。盧書把這個邏輯顛倒了。強調使用SAS、SPSS、R等工具進行分析的數據分析師、數據挖掘，他們做的報告也偏向于盧書提到的情況，甚至干脆不寫報告。

數據分析、數據挖掘是這幾年才新興的職位，他們使用的只是統計知識中很少一部分的內容加上互聯網需要的知識，但是統計的其他知識都沒用嗎？社會對數據人員的評價高還是對統計的評價高？統計局做人口調查應該是家喻戶曉的常識，為什么很多數據人員不愿意提，甚至希望與調查劃清界線。面試過很多公司的數據分析，他們都說自己很喜歡統計，當深入問的時候，原來他們只喜歡數據分析那部分工作，這反映社會現狀和教育問題了。他們只做了統計工作中，報告職能里面數據分析的工作而已，但是要求社會給予的報酬只是統計的小部分嗎？目前社會對哪個的評價更高呢？

CDA注冊數據分析師協會會員是來自學界、實務界，國內大陸、臺灣及國外數據分析和數據挖掘相關領域的教授、專家、工程師及企業高端人才，名師薈萃，學術濃厚，技術前沿，代表了國內數據分析研究領域的最高水平。

CDA數據分析師的就業前景可選擇于通訊、醫療、銀行、證券、保險、制造、商業、市場研究、科研、教育等多個行業和領域。，根據三個不同的等級勝任不同的數據分析工作任務。

報名參加CDA協會等級認證考試（報名入口）。證書含金量高，可以作為部分企業事業單位選拔和聘用專業人才的任職參考依據。