揭秘數據分析中那些難以解釋的數據異常

數據分析是指用適當的統計方法對收集來的大量第一手資料和第二手資料進行分析，以求最大化地開發數據資料的功能，發揮數據的作用。是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。數據也稱觀測值，是實驗、測量、觀察、調查等的結果，常以數量的形式給出。

在分析數據的時候，總有那些一些數據異常無法找到適當的理由進行合理解釋，也許可以換個角度來看待這些異常。為什么明明數據發生較大的起伏波動，我們絞盡腦汁還是無法找到合理的原因，這些到底是怎么樣的異常，是不是存在一些共性，或者這些異常是不是我們平常所說的異常，抑或是應該歸到其他類別，不妨先叫 它們“難以解釋的異?！?。

近段時間在讀《思考，快與慢》這本書，作者卡尼曼的觀點似乎可以給我們一些答案?？崧切睦韺W和決策學方面的大師，他告訴我們如何避開大腦思考的誤區，從而更加理性地進行認知和決策。這里引述書中提及的與上面“難以解釋的異?！边@個問題相關的兩個觀點：

· 回歸均值效應：事物會經歷好壞的隨機波動，但最終會回歸到平均水平。
· 用因果關系解釋隨機事件：人們總是試圖為一些變化尋找可以解釋的原因。

迪馬特奧和貝尼特斯

對于回歸均值效應（Mean reversion），卡尼曼舉了一些與體育相關的例子，確實這個現象在體育競技中較為常見：高爾夫球手為什么第二天無法打出前一天的好成績，球員為什么第二個賽季無法復制前一個賽季的輝煌……這讓我聯想到了近期切爾西的換帥事件。

其實迪馬特奧和貝尼特斯之間存在一些有趣的共同點：1) 都是歐冠的冠軍教頭，2) 能力都沒有被完全認可。如果說迪馬特奧是沒有足夠的時間來證明自己的執教能力情有可原的話，那么貝尼特斯顯然是自己的選擇造成了外界對其能力的質疑。

迪馬特奧在上賽季中后段從助理教練接手切爾西，并以看守主教練的身份一路過關斬將，最終奪取歐冠冠軍，成功帶回球隊歷史上第一座大耳朵杯足夠讓其能在賽 季末被扶正，但因為缺乏執教經驗始終無法讓挑剔的老板對其有足夠的信任，于是當球迷和俱樂部還沉浸在上賽季歐冠的榮耀光環下，而球隊的表現卻無法延續“應 有”的輝煌時，迪馬特奧下課的命運是注定的。在競爭如此激烈的英超聯賽，切爾西無法擺脫回歸效應，如果說上個賽季切爾西在諸多有利因素的共同作用，再加上 一些運氣成分的基礎上成功加冕歐冠的話，那么這個賽季這些有利因素不再集中地作用于他們，而他們的運氣也似乎“用完了”，成績回歸之前的平均水平實屬正常 現象，而在昔日光環下的球迷和俱樂部顯然認為這是“異常事件”，于是迪馬特奧成為了回歸效應的受害者。

其實這類事件在足球界屢見不鮮，世界杯的98法國，02五星巴西，06意大利都難逃回歸效應，奪冠之后成績下滑，而很多教練也在奪冠之后紛紛辭 職，因為他們也明白再續輝煌（擺脫回歸效應）是如此之難，斯科拉里、里皮等都做出了明智的選擇，而這些冠軍球隊的替任教練又往往是命運最為坎坷的，畢竟能 像博斯克這樣讓西班牙不斷延續輝煌的教練真的不多，而貝尼特斯恰恰當了回悲催的替任者。

2010年貝尼特斯接替穆里尼奧成為三冠王國際米蘭的主教練，三冠王的光環太過耀眼，而陣容老化加引援不利，注定讓國米走上回歸效應的道路，于 是賽季不到半程，貝帥即被解雇。其實貝尼特斯之前執教生涯的戰績并不是太差，成名于瘋狂的“伊斯坦布爾之夜”，但也正是因為這傳奇一戰成了一座無法逾越的 豐碑，即使之后幫助利物浦奪得諸多賽事的冠亞軍，也無法讓俱樂部和球迷真正的滿意，而貝帥的決策失誤在于其沒有在任何一個輝煌或幾近輝煌（07年雖然被米 蘭復仇雅典，但至少也是個歐冠亞軍）的時刻選擇退出，直到最后利物浦戰績實在看不下去了才以失敗者的身份離開。貝帥真的應該向老辣的銀狐里皮或者狡猾的穆 里尼奧學習下什么叫做功成身退。

而這次，貝帥又一次選擇了歐冠冠軍光環下的切爾西，盡管這個光環已漸漸褪去，我們也只能祝他好運了。

倒塌的橋梁與突然安靜的教室

共振（Resonance）催 生了宇宙大爆炸，形成了星辰日月和世間萬物，共振現象是自然界最普遍的現象之一。一群士兵騎馬通過法國昂熱市的某座橋時，共振現象導致了橋梁的倒塌，這個 例子被引入初中物理教科書，從而成為了我們認識共振原理的啟蒙記憶。但是什么原因引發了共振，進而發生橋梁倒塌這類異常事件，正常情況下同樣一群士兵同樣 行軍通過同樣的橋，可能幾萬次中才會出現一次橋梁倒塌，士兵是普通的士兵，橋是正常的橋，產生共振完全是一個隨機事件，但正是因為這類事件概率太小，所以 人們總是試圖從士兵或者橋的身上找原因（但是有時候確實是因為橋存在問題 ;- ) ）。

然后是一個在知乎上看到的問題：為什么原來大家都在討論，聲音嘈雜的教室會突然安靜下來？這個也許大家都遇到過，也是一個類似的小概率事件，教 室里每個人都在斷斷續續地說話，正常情況下聲音的大小總是保持在一個水平波動，但可能突然有一個時刻同時說話的人數減少了，聲音也隨機地波動到了一個最低 點，這個時候大家就會認為是不是發生了什么事情，老師來了？于是紛紛不說話，教室突然鴉雀無聲，一片寂靜。大家都感覺到了教室聲音的“異?！?，而試圖為這 個異常尋找可能的原因。

什么造成了這些“異?！?/span>

首先來看回歸均值效應，一般表現為事物在某段時間表現得非常好，之后回歸到正常水平的一個過程。這個按理來說是一個正常的過程，因為事物在諸多 因素的共同影響下總有一些隨機的波動，關鍵在于人們總是希望好的狀態能夠延續，而當事物從一個極好的狀態出現下滑時，因為落差較大，所以很容易把回歸均值 之后的狀態當做一種“異?！?。如下圖：

A段的曲線即使有上下波動，但一般不會被認為有異常，但C段曲線很容易被誤認為是異常，因為我們很容易將C段與B段進行比較，而不是A段的均值 水平（綠線所示，C段與A段均值差異并不大）。因為這里給出了完整的曲線變化趨勢，所以犯這種錯誤的可能性會降低，但當我們比較短時間內的數據變化，或者 簡單看數據同環比的時候，就很容易誤把回歸均值當做一種異常。所以分析數據要結合長期趨勢，當事物狀態未發生質變而數據明顯上升一個臺階的情況下，不要認 為好的數據表現總能夠持續，因為好的數據表現也只是一個正常的隨機波動引起的。

解釋了回歸均值效應，還需要搞清楚的是雖然事物大部分時間都有小幅的隨機波動，但偶然也會出現較大的波動，即極好或者極差的狀態，正如上圖的B段狀態，我們如何認定這個狀態也是隨機的，而不是異常呢，不能因為難以解釋而不把過大的數據波動當做一種異常來看？

這個問題還是可以從物理學的角度開始解釋，先看下波的疊加原理（Superposition Principle）：

左圖的下面2個波在疊加之后合成了更大的振幅，而右圖的下面2個波相互干涉，合成后振幅消減為零。引申到數據變化的情境下，一般一個指標會受到 多個因素的影響，比如網站的訪問量會受多個渠道數據波動的影響，搜索引擎、外部鏈接、社交媒介、付費廣告等這些外部渠道帶來的流量總是在變化的，如下圖：

當某個渠道的流量異常的時候，如A線所示，或者由于外界因素的影響，如春節或節假日所有渠道的流量都可能普遍下降，如B線所示，這些都可能導致 總體訪問量的異常，這些異常是可以解釋的。C線中每個渠道的數據都未出現明顯異常，但由于多個渠道的流量因為隨機波動碰巧同時都到了一個較低的點，這個時 候總體訪問量也會出現明顯低于正常水平的情況，于是就出現了“難以解釋的異?！?。

數據在某些因素的同時作用下可能會出現異常，雖然這個概率很低，但是確實又發生，這是多個因素疊加效應導致的，如果通過細分指標的影響因素沒有發現明顯的異常，那么不要試圖為這個“難以解釋的異?！睂ふ铱瓷先タ梢越忉尩脑?。