說說什么是探索式數據分析、驗證性數據分析

在大數據時代，混亂的、無結構的、多媒體的海量數據，通過各種渠道源源不斷地積累和記載著人類活動的各種痕跡。探索性數據分析可以成為了一個有效的工具。

美國約翰?懷爾德杜克(John Wilder Tukey)1977年在《探索性數據分析》(Exploratory Data Analysis)一書中第一次系統地論述了探索性數據分析。他的主要觀點是：探索性數據分析(EDA)與驗證性數據分析(Confirmatory Data Analysis )有所不同：前者注重于對數據進行概括性的描述，不受數據模型和科研假設的限制，而后者只注重對數據模型和研究假設的驗證。他認為統計分析不應該只重視模型和假設的驗證，而應該充分發揮探索性數據分析的長處，在描述中發現新的理論假設和數據模型。

探索性數據分析有別于初始性數據分析(initial data analysis – IDA)。初始性數據分析的聚焦點是分析鑒別統計模型和科研假設測試所需的條件是否達到，以保證驗證性分析的可靠性。在這個分析過程中對不符合條件的數據進行缺值填補、數據轉換、異常值舍棄等處理以增強分析的準確性。探索性數據分析包含初始性數據分析，但它的出發點不僅是確定數據質量，而且更重視從數據中發現數據分布的模式(Patten)和提出新的假設。

在以抽樣統計為主導的傳統統計學中，探索性數據分析對驗證性數據分析有著支持和輔助的作用。但由于抽樣和問卷都是事先設計好的，對數據的探索性分析是有限的。到了大數據時代，海量的無結構、半結構數據從多種渠道源源不斷地積累，不受分析模型和研究假設的限制，如何從中找出規律并產生分析模型和研究假設成為新挑戰。

探索性數據分析在對數據進行概括性描述，發現變量之間的相關性以及引導出新的假設方面均大顯身手。從邏輯推理上講，探索性數據分析屬于歸納法(Induction)有別于從理論出發的演繹法(Deduction)。因此，探索性數據分析成為大數據分析中不可缺少的一步并且走向前臺。高速處理海量數據的新技術加上數據可視化工具的日益成熟更推動了探索性數據分析的快速普及。

美國2014年出版的《數據科學實戰》(Rachel Schutt, Cathy O’Neil著，馮凌秉、王群峰譯)一書中，探索性數據分析被列為數據科學工作流程中的一個能影響多個環節的關鍵步驟。(見下圖)

可以通過建立垃圾電子郵件過濾器的過程考察一下探索性數據分析的作用。

由于電子郵件是自動積累的，各種商業廣告常常充斥郵箱，每天都給用戶帶來很多不便。我們憑直覺和經驗可以判斷哪個是垃圾郵件，但人工清理這些垃圾很浪費時間。建立垃圾郵件過濾器的第一步是從大量郵件中隨機抽樣出100條(或更多)，人工地將它們分成有用郵件和垃圾郵件。第二步是用探索性數據分析對篩選出的垃圾郵件進行分析統計出哪類詞匯出現的機率最高。比如各類促銷和誘惑語言等，根據該類語言出現的頻度，可選出最常出現的5 到10個詞。第四步，以選出的詞為基礎建立初始郵件過濾模型并開發郵件過濾軟件程序，然后用它對一個大樣本(1000或更大)進行垃圾郵件的過濾試驗。第五步，對過濾器篩選出的垃圾郵件進行人工驗證，用探索性數據分析計算過濾的總成功率和每個詞的出現率。第六步，用成功率和出現率的結果進一步改進過濾模型，并在郵件處理過程中增加過濾器，根據事先定好的臨界點(Threshold)，增加或減少過濾詞匯的功能(機器學習)。這樣，該垃圾郵件過濾器將不斷地自我改進以提高過濾的成功率。最后，應用數據可視化技術，各個階段的探索性數據分析結果都可以實時地用動態圖表展示。

從這個過程中我們可以看到：

1. 探索性數據分析能幫助我們從看似混亂無章的原始數據中篩選出可用的數據。

2. 探索性數據分析在數據清理中發揮重要作用。

3. 探索性數據分析是建立算法和過濾模型的第一步。

4. 探索性數據分析能通過數據碰撞發現新假設，通過機器學習不斷的改進和提高算法的精準度。

5. 探索性數據分析的結果，通過數據可視化展示，可以為郵件過濾器的開發隨時提供指導和修正信息。

按照傳統統計的“垃圾進，垃圾出”(Garbage in, garbage out)的金科玉律，混亂和不規則的數據是無用的垃圾。在抽樣統計中，每一個樣品數據都必須經過嚴格的檢測確保其準確性和可靠性。在大數據時代，混亂的、無結構的、多媒體的海量數據通過各種渠道(Internet of Things, IoT)源源不斷地積累和記載著人類活動的各種痕跡。探索性數據分析這個統計課程里一帶而過的分析方法在處理大數據的過程中卻成為了一個有效的工具。正如美國探索性數據分析創始人約翰?懷爾德杜克所說：“面對那些我們堅信存在或不存在的事物時，‘探索性數據分析’代表了一種態度，一種方法手段的靈活性，更代表了人們尋求真相的強烈愿望?！?