大數據時代的質量觀_數據分析師

大數據是全球新型工業化進程的必然產物，與計算機科學技術的發展息息相關。所謂大數據，一般是指規模巨大的數據集，這些數據由于存儲量和結構規模龐大，無法用現有的軟件系統和統計模型進行分析和處理，無法完成數據的擷取、分類、關聯和趨勢等方面的分析，更難以達到數據分析運用于經營和管理等方面的目的。從統計學的角度來看，大數據包含四個基本特點：一是數據的體量龐大，從TB級別躍升到PB級別；二是數據的種類繁多，甚至打破我們對于常規統計量的認識；三是價值密度較低而商業價值較高；四是數據處理的速度快。

大數據的出現對質量科學的影響非常巨大和深遠，這里探討的質量觀，一般是指人們對于質量的基本看法和觀點，可以看成是一種質量科學領域的世界觀。大數據背景下的質量觀關系到我們對于質量科學未來發展的基本方向的認同，也會引起我們對于當前質量科學技術的思考和改進。

首先，大數據是面向質量過程的總體數據，而不再局限于隨機樣本。質量科學的進步最為內在的動力就是數理統計方法，其中抽樣技術是最核心的方法之一。隨機抽樣是當代質量管理技術最重要的手段和方法，也是六西格瑪管理和質量改進的重要技術特征。對于一個完整的工業過程而言，我們幾乎可以收集到全部的總體數據。而大數據無法使用常規的統計軟件和工具完成計算和分析，因此即便是收集到的全部統計數據，我們也幾乎無法完成預定的質量管理和數據分析任務，需要借助專門的海量數據挖掘和云計算技術。這就出現了一個矛盾，即面向總體質量統計的大數據資源理論上可以滿足一切質量管理的需要，但質量管理實踐中卻無法實現常規的統計分析和監控，因為數據量過于龐大。這個矛盾的解決方案存在很多爭議，一個基本的共識就是允許一定誤差的抽樣方法仍然是未來一段時期內最有效率和最為公平的質量管理方法。

其次，大數據傾向于混雜計算的標準，而不是像以前一樣精確。精確建模和計算是統計時代的產物，也是演繹邏輯的頂峰。在數據相對匱乏的年代，我們總是要求一切統計數據都要精確。但在大數據時代的數據，混雜而不精確性未必是缺點，而可能是一個亮點。接收數據的混雜性，必須承認一些基本的事實和想法。一是當數據量以幾何級數增加的時候，降低數據容差可以獲得更多的數據信息；二是要想獲得大規模數據帶來的好處，混雜應該是一種標準途徑而不是竭力避免的；三是要認識到大數據的簡單算法比小數據的復雜算法更有效。

最后，大數據分析更關注相關關系，而不是因果關系。傳統的質量管理方法尤其注重因果邏輯，總是希望通過實驗設計或者統計模型來描述事物之間的關系，而且這種關系是有因果邏輯支持的，很多質量改進技術都是在因果問題上做文章，用精確的數據模擬真實的質量生產過程，從而得到精確的結論。但大數據分析的主流研究成果相對更加注重“效果邏輯”，只強調數據之間存在的相關關系，而不管這種關系在實踐中如何產生。