避免大數據分析的思維陷阱

大數據分析可以追溯到30年前， 那時在數據分析界， 人們認為數據分析的工具和算法已經可以深度分析出任何東西， 所欠缺的就是數據量。 數據分析師們的說法就是， 如果你能夠讓我測量一切數據， 追蹤一切數據， 從微觀的精確到分鐘的銷售， 精確到每個人的資源消耗，到宏觀的變量如利率的變化等， 我就能夠告訴你想知道的一切， 這些變量之間的相關性， 它們的變化趨勢等等一切的一切。

這種說法一直是主流數據分析界的看法。 到了今天， 數據量已經不成問題了。 互聯網的幾乎能夠找到你需要的任何數據。 想要知道賓夕法尼亞州的工業清洗設備的銷售與該州的鋼鐵廠的設備使用的關系? 沒問題， 想要提高用戶滿意度? 可以把用戶投訴數據采用聚類算法進行聚類。 你動動鼠標， 很多數據就能夠找到了。

大數據的“羅生門”

好了， 現在的問題， 已經不是數據不夠的問題了。 分析師不能再說“我的分析方法沒問題， 只要有足夠的數據。 ”如今， 數據的豐富程度已經足以滿足任何分析方法的需要。 相反， 分析師需要考慮的是“什么樣的分析方法最合適”以及“這些數據到底能告訴我們什么”。

這很自然地帶來了另一個問題， 這個問題可能是大數據帶來的真正問題。 那就是：現有的數據， 多的可以讓你想要分析出什么結果， 就能分析出什么結果。

有一句話叫做：“這個世界上有兩種謊言， 第一種叫謊言， 第二種叫統計”。 我們的大腦有一種無與倫比的能力， 那就是發現規律的能力(即便是其實沒有規律)。

達頓商學院的教授曾經在班上做過這樣一個實驗：他找了兩個學生， 其中一個學生， 用隨機數生成器 生成一個數列， 數列里的每個數， 都是1 到10 之間的一個隨機整數。 另一個學生， 則寫同樣長度的一個數列， 數列中的每個數， 這個學生可以隨機地寫從1到10 之間的一個整數。 教授讓第三個學生， 把這兩個學生生成的數列給他看。 他幾乎每次都能正確地判斷出那個數列是真的隨機數列， 哪個數列是人工寫的。 那些看上去有規律， 或者常有連續重復數字的， 是隨機數列。 而人工寫成的數列， 則盡量避免出現規律性或者重復性。 為什么呢? 因為我們總潛意識里， 會認為有規律性或者重復性的東西， 一定有它的原因， 就不可能是隨機的。 因此， 當我們看到任何有點規律的模式時， 我們就會認為一定有一些非隨機的因素。

這種潛意識其實來自于我們在自然界的生存本能。 當你看到草叢晃動的時候， 你寧可認為是有一只老虎在那邊， 也比認為是“隨機的” 風吹的， 而最后跳出一只老虎來強。

用“小實驗”來驗證“大數據”

如何才能避免掉入這樣的認知陷阱呢? 可以采用達頓商學院教授Jeanne Liedtka所提倡的“小規模實驗”的方式。 “小規模實驗”與“大數據挖掘”的區別在于， “小規模實驗”是特別設計來驗證那些憑借分析工具(或者在分析工具幫助下的想象力)所“發現”的規律的正確性。 設計小規模試驗的關鍵， 就是用實例去驗證你發現的規律。 如果驗證結果是正確的話， 那么規律或模式的可信度就提高了。

為什么要“小規?！蹦?因為， 在海量數據加上分析工具， 可以讓我們去發現無數的規律和模式， 而對每個規律或模式去驗證會投入資源(時間以及金錢)。 通過把實驗數據量的規模減小， 我們就可以更快更有效地驗證更多的可能性。 這樣也就能夠加快企業的創新過程。

如何進行“小規模實驗”， 要根據具體情況看。 一般來說， 實驗會采用大數據分析所用的數據集。 從中取出一部分子集進行分析， 發現的規律， 通過另一部分數據子集進行驗證， 如果規律在驗證數據子集中也存在的話， 再利用大數據數據集采集的方式采集新的數據， 進一步進行驗證。

保險公司Progressive Insurance以及信用卡公司Capital One是兩個利用數據分析成功取得競爭優勢的公司。 在他們的實踐中， 他們就很好地采用了這樣的“大數據, 小實驗”的方式， 他們意識到我們天生的那種發現“并不存在的”規律的能力的危險性， 因此，他們利用小規模試驗的方式， 從而使得他們能夠快速有效地進行數據挖掘。

海量數據加上分析工具， 使得數據分析現在是一個很熱的話題。 很多企業認為數據分析師能夠“點石成金”。 但是，常言道: “人們看到的是他們想要看到的東西?！?今天， 我們有了海量數據和能“發現任何規律”的分析工具后， 還是不能忘記那個最古老的辦法——用小規模的實驗去驗證。 否則的話， 幾百萬上千萬美元的大數據投資， 可能發現的只是我們想象出來的“規律”。