數據分析師告訴你：大數據時代如何識別虛假數據

好的決策應該是“數據驅動”的，但是如果數據有效性不好，就不可能據此做出好的決定。我的整個職業生涯幾乎都在做市場調研和調查數據分析方面的工作，根據我的經驗，我已經找到了一個試金石，能夠判斷一組業務數據是否值得在決策過程中引用。

要想從有效（因此也可能是）有用的數據中剔除虛假（因此也是）無效的數據，就需要問以下九個問題。如果對于任何一個問題的答案是“是的”，那么數這些據就是虛假的。

1. 這些數據的來源是否以此牟利？

如果收集數據的機構能夠通過扭曲數據獲得經濟利益，那么數據就會被扭曲。例如，我曾經聽到過一名市場研究員（一名外部顧問）詢問雇傭了他的市場營銷人員：“你想要數據說什么？”那么他所提交的研究報告中的數據一定經過了仔細地調整，以便反映這個觀點。

2. 原始數據是否沒有公布？

任何缺少原始數據的研究結果都是虛假的。原始數據不公布一定是因為以下的某一個原因：

原始數據實際上完全證明了別的事情。

原始數據會顯示出該研究使用了奇怪的定義或者有偏見的問題。（參見下面的第三點和第五點。）

原始數據不存在，因為研究結果完全是某人的“信口雌黃”，就像他們交易中所說的那樣。

3. 是否扭曲了正常的定義？

雖然人類的語言本質上市不精確的，但是如果一份調查問卷或者調查提綱中對于某個詞的定義超出了其普遍接受的含義，那么和這個詞相關的所有數據就都是虛假的。例如，一項調查將“客戶滿意”定義為“未退回所購產品”就顯然會誤導讀者，錯誤地理解你對客戶服務的好壞程度。

4. 被調查者是否不是隨機選取的？

如果一項調查只詢問那些保證會提供特定回答的人，那么收集到的數據就會反應出這樣的意見。例如，我有一次看到一家廣告公司對于那些購買了該廣告的出版商的銷售經理們進行調查，用這種方法來衡量“廣告效果”。不用說啦，這款廣告的效果一定是“效果好極了”。

5. 是否在調查中使用了誘導性問題？

你如何問一個問題往往會讓接受調查的人按照可預見的方式來回答。我們可以看看一個來自ZF的例子，如果一名研究人員詢問退休人員“你是否贊成ZF援助？”那么你就會得到和“你是否支持聯邦醫療保險？”相反的答案。

6. 結果是否計算了平均值？

如果用“平均”的概念來分析的話，即使是好數據也會變成糟糕的數據。例如，在一個房間里有一名億萬富翁和九百九十九個身無分文的乞丐，他們的平均財富是一百萬美元。有效的數據應該使用“中位數”，當所有其他的值都是按照順序排列的時候，中位數是中值。在上面那個例子中，財富的中位數是零。

7. 接受調查的人是否是自我選擇的？

企業通常會進行網絡調查，由訪問網站的人決定是否愿意參與調查。但是，任何基于“自我選擇”的調查結果都必然是虛假數據。例如，如果我在網站上貼出一個類似這樣的問題，“我們的客戶服務如何？”只有那些得到非常好或者非常糟糕的客戶服務體驗的人才會參與回答。結果你就會對于客戶通常會得到什么樣的服務體驗毫無概念。

8. 是否先入為主地假定了因果關系？

即使兩組數據看起來步調一致，你也不知道這種一致性是否有意義，除非你很確定地知道一組數據會導致另一組數據。例如，如果銷售收入在你的銷售人員參加了銷售培訓課程之后出現了上升，那么這種收入的上升可能是因為銷售培訓起了作用，也有可能是因為和銷售培訓無關的因素，例如經濟回暖的因素。相關性并不一定是因果關系。

9. 是否缺乏獨立的確認？

科學研究在其他人（原始研究人員之外）獨立地證明了研究成果之前，是不會被視為有效的。不幸的是，絕大多數市場研究都是單一來源的，這就讓它變得天然不可靠。例如，如同上面那個例子中所說的，你的銷售收入在銷售人員參加了銷售培訓之后出現了增長，那么這種增長可能是因為銷售培訓發揮了作用，也有可能是其他的、和銷售培訓無關的因素造成的，例如經濟回暖。相關性并不一定是因果關系。

讓我們來看看如何在看一份真實的市場調研報告的時候運用這些規則。昨天，一家名為Millward Brown的公司發布了該公司的“全球100個最流行品牌”榜單。由于這份報告的目的是要為Millward Brown吸引注意力和客戶，所以對于第一個問題的答案就是“是的”。

Millward Brown在發布的報告中沒有披露原始數據，所以對于第二個問題的答案也是“是的”。對于第三個到第七個問題的答案未知（因為我們沒有原始數據），但是對于第九個問題的答案是“是的”，這是因為Millward Brown使用了“專有的”方法，所以就不可能對報告的結論進行獨立的確認。