在大數據時代，大數據、統計學應當如何發揮它的優勢？很多大數據、統計學家都在探討這個問題，包括Steve M. 和Larry W. 也在他們的博客探討了有關的內容。而筆者的科研方向主要是研究基因組學，也通常被列為統計學和統計學家發揮巨大作用的“大數據”的領域之一，所以對這個問 題也思考了一段時間。

          一個自然而然的問題就是：“為什么在基因學研究中，統計學家可以取得如此大的成功？”筆者這里想借用Brian C.的一句話來解釋：Problem first, not solution backward （問題優先而非解法優先）

在當下，“大數據”這個詞的廣泛應用得益于數據的獲取變得越來越便宜。一個例子就是DNA序列掃描的價格。在其他領域中也是一樣，例如人體運動的數 據記錄，Fitbits，Google books，Twitter上的社交網絡數據等等。這些數據的獲取或許在十年前有著令人生畏的價格，但現在卻絕非難事。

作為一名統計學家，我們希望從這些非常不同的領域中尋找大數據普適的原則：

1.這些數據都無法在一個簡單的筆記本電腦上進行分析（不論從幾千兆到兆兆字節）。

2.這些數據形式復雜，結構龐雜，如有非結構化的文字信息，有缺失很多數據的json文件，含有質量指標的fastq文件等等等等。

          那么為什么在基因研究中，統計學家能取得如此大的成功呢？在筆者看來，很多原因就是干這一行的統計學家愿意花上很長的時間，去處理那些很細節的數據 問題。比如，在大數據上運行哪怕是最為簡單的統計模型，也要花上數個小時的時間，抑或處理一個得到的基因序列并對它們進行必要的修復也同樣是非常耗時耗 力。正因為愿意去花時間理解并處理這些很實際的、很細節的問題，統計學家才能得到那些別人無法得到的數據，才使得統計學家在基因學科上取得了今天的成就。

          這些事情并不輕松，也并不“高雅”。很多統計學家也不稱之為“統計”。Steve在他的博客中提到：“坦誠地說，我對于現在的統計學很少能提出有價 值的新觀點表示失望?！蔽蚁?，他的觀點是有很多統計學家贊同的。大意是說由于在大數據上面目前沒有什么好的理論提出，所以在大數據方面也就沒什么值得稱為 上乘的“新觀點”。他們的這種觀點就是solution backward （解法優先）：我們需要漂亮的理論，然后把它應用到具體問題。

          與之不同，我們提出的方式，就是problemforward （問題優先）。正因為當下得到數據變得越來越便宜，我們也就可以分析和學習很多以前無法完成的課題。計算機科學，物理學，生物基因以及其他一些領域在大數 據上面一直保持領先正因為他們的研究者在數據分析上并不一定需要一個統計上“完美”的解答。他們更關注有科學意義的問題并愿意花時間，精力去處理那些繁瑣 的“大數據”來進行分析，從而達到目的。因此，他們能獲得別人從未研究過的數據并從中提煉有價值的部分。

          在基因學科中就有著很好的例子。DNA晶片的發明，對這個領域產生了革命性的影響。而后統計學家進入這個領域。他們和其他科研人員一起為了同樣的科 學問題，在實際數據上投入了大量的時間，精力來完成數據處理，或者開發能夠處理數據的軟件。在筆者看來，想要在大數據時代真正做出成果，首先要專注于那些 有意義的科學問題，然后才是提出能解決科學問題的統計方法。這就需要我們重新去思考統計學。那些比如并行計算，數據再加工，數據可復制性，軟件開發等等問 題，其實和純統計理論方法同樣的重要。

          當然，在大數據時代，統計學有著廣泛的發揮空間，用我們獨特的技能去處理這些新問題中的不確定性，但是這一切的前提都是我們要首先愿意去為了科學目標來處理那些關于數據方面繁瑣的工作。

數據分析師