大數據可以預測 可靠性尚不確定

人類生活需要預測，但可靠性卻實在不敢讓人恭維，鮮有正確。這有人為因素，也有技術原因。
    比如“非樣本錯誤”。假設有一位司機，駕齡30年，出行2萬次，只發生過2次輕微的剮蹭事故。中秋節跟家人一起喝了很多酒，那么這位司機能否因為此前駕駛記錄良好，就認為這次也不會出事故？顯然這是錯誤的想法。因為2萬次的出行記錄都是無酒駕記錄，這次喝多了，此前的記錄已無任何統計學意義?；蛟S覺得這樣的低級錯誤預測專家能夠避免才對，但其實不然。由美國引起的2008年全球金融危機，人類也就只有一兩位預測到，而其他所有的美國評級機構、白宮智囊團、經濟學家無一能預測出。究其原因，就是犯了這種“非樣本”的預測錯誤。當情況有變，一味根據過去的記錄做出預測，就只能得到錯誤的答案。
    很多人喜歡投資股市。身處牛市，投資者再外行恐怕也能多少賺點錢，但從牛市進入熊市，證券公司一般都是集體犯錯。這更多的是人為因素。證券分析師出現錯誤判斷很正常，但犯錯一定要避免只有自己犯錯，一起犯錯就等于自己沒犯錯。比如有人分析出股市有一定概率要崩盤，最佳策略卻是繼續持有。這樣股市崩盤了，由于絕大多數同行都不確定何時要崩盤，也都選擇持有戰略，集體犯錯，并不會顯出自己水平低。但如果貿然賣掉股票，短期股價卻沒有跌甚至漲了，就只能表明自己水平不夠。
    震驚全球的"9·11"恐怖襲擊事件讓人感覺很突然，其實美國情報機構差點識破這一重大陰謀。2001年8月16日，穆薩維，一名宗教極端主義者被逮捕了。他只進行了飛行培訓50個小時，卻要求參加波音747客機的模擬訓練。這很詭異，因此被人舉報。事后看這個事情，信號很清晰，有恐怖分子要用飛機炸大樓。在當時，這個信號卻被掩蓋在幾十萬條諸如此類的眾多噪聲中，并不突出，或許他只是個飛行愛好者呢。有信號，更有噪聲，使得預測非常困難。
    以上種種因素導致人類預測不甚準確；但還是有辦法使得預測更加接近真相，那就是借助貝葉斯定理。這條概率學定理已產生二百多年，是用條件概率推理問題，揭示人們對概率信息的認知加工過程與規律、指導人們進行有效的學習和判斷決策。比如一位女性的乳房X光片顯示陽性，那么她患乳腺癌的概率會是多少？已有的統計數據顯示，如果一位女性未患乳腺癌，X光片呈陽性的概率為10%；如果確實患有乳腺癌，X光片陽性概率為75%；因此X光片呈陽性，一般人會認為事情很嚴重。但如果用貝葉斯定理來分析，她患乳腺癌的概率只有10%，因為40多歲的女性，患乳腺癌概率很低，只有1.4%，也就是說先驗概率很低。
    大數據時代，雖然信息量爆增，但信號與噪聲并存，要做出正確的預測并不比以前容易，甚至更難?！缎盘柵c噪聲》一書告訴我們，如果以貝葉斯定理為基礎，努力了解事情的因果關系，避免一些不該犯的人為或技術錯誤，預測準確率都會提高很多。