工業大數據分析的誤區與建議

作為數據價值變現的核心技術手段之一，大數據分析的作用被廣泛宣傳甚至神化。對于工業大數據分析，產業界存在有不少困惑。是否把商業大數據分析照搬過來就是就足夠了？只要有了海量數據，大數據分析是否不需要任何假設前提了？是否機理模型或領域經驗就不重要了？工業大數據分析有沒有典型的范式來指導實際操作？

從行業數據分析實踐者的角度，本文第一部分剖析了工業大數據分析的常見誤區與正確的價值變現之路，指出工業大數據分析應該注重與機理模型的融合，充分利用領域先驗知識；第二部分從分析算法的應用側重點、分析模型與機理模型融合方式、業務應用場景等三個維度歸納了工業大數據分析的典型范式。

工業大數據“大，不一樣”

在與工業企業的交流中，筆者感受到業界對大數據分析的期望與“神化”。

謂之“神化”，是由于大數據應用在國內外實踐產生的案例，在提質增效及個性化服務方面，產生的利潤與之煽動的蝴蝶效應，讓有些工業企業以為只要安裝了傳感器，能把數據采集下來，就能讓數據說話，就能從上千種因素中定位出故障原因，就能精準指導研發、生產、運營。甚至誤認為經典的機理模型或多年積累的經驗不再重要。

然而脫離機理與領域知識的大數據分析結果常常是“你以為你以為的不是你以為的”。

工業大數據的“小”與“大”

從傳統大數據3V（Volume, Velocity, Variety）或4V（Veracity）度量角度來看，工業數據當然屬于大數據的范疇，在體量上甚至超過互聯網大數據[1]。然在數據分析中仍不時感覺到工業數據之“小”，主要體現在3個方面。

1）價值密度：王建民教授曾指出[2]，相對于產品圖紙、工藝設計等傳統“小”數據，工業“大”數據的價值密度低。工業大數據分析無法脫離這些基礎信息的支撐，不舉小數據之“綱”，難行大數據之“目”。

2）大數據永遠是物理世界的“小”樣本：以SMT(Surface Mount Technology)生產線為例，最終產品質量由工藝參數、材料特性、生產設備等上千個參數共同影響，生產檢測大數據僅僅覆蓋了很小的參數組合空間（curse of dimension）。并且不是所有關鍵因素都有測量，測量值也不一定能反映分布式參數系統的全部（比如回流焊的溫度監測值并不等于電路板的表面溫度）。工業數據分析更需要利用先驗知識縮小搜索空間，同時保持一種“大膽探索、小心求證”的態度。

3）對分析有直接意義的樣本比例通常很?。汗I通常是運行在設計的常態模式下，對不期望的干擾因素會進行很多壓制，造成絕大部分數據對應非常相似的環境與過程。特別對于故障分析、殘次品因素分析等大數據分析，樣本不均衡程度非常高(biased data)。雖然物理系統相對社會系統更容易做一些控制性實驗，但由于很多工業領域控制實驗（比如風機葉片斷裂、油氣管道泄漏等）成本或風險太高，實際上也很難提供足夠的異常情形樣本。

因此，工業大數據的“大”不能僅從數據量、數據類型、產生速度、質量等角度來看，而應考慮以下兩個方面。

1）維度之大：風力發電機組的健康分析應該從時間（過去故障記錄、整機性能演化等）、空間（相同機型在不同風場的表現）、環境（氣象、地理）、業務運作（設計、維修、限電等）等多個維度綜合來看。獨立看似異常的事件，很多其實是正常業務操作引起的（如風機功率低可能是由于啟動限功率運行模式以降低對居民區的影響）。對于工業數據，更應構建全面的上下文(context model)，才有可能分析出一些有價值的結果。

2）先驗知識基礎之大：工業領域通常有大量的機理模型、專家經驗的深厚積累，可以為數據分析縮小參數空間、提供有用的特征變量（如齒輪箱震動的倒譜參數），數據分析也應思考如何有這些基礎更好的互動與融合，以期創造更大的價值。

工業數據分析與商業數據分析：一字之別?

當前很多流行的大數據理念來自于互聯網和商務領域，不少分析技術也是針對商業大數據。但工業大數據與商業大數據在很多地方存在比較大的差別，郭朝輝等行業專家對此從不同角度進行了深刻剖析[2,3]，我們將其歸納為如下表所示的四個維度[4]。

1）研究對象不同：工業領域以物理系統（物理實體或環境）為中心，研究動態過程的規律和因果關系，而商業大數據以人造系統（人或流程）為研究對象，試圖理解其中的行為模式。當然，工業領域的一些簡單產品（如個人電子消費品）制造業和商業產品在產品定義、營銷和售后有不少相似之處，但對于復雜產品（如高端裝備、高精度制造），區別是非常顯著的。

2）現有基礎不同：在工業領域，人們對生產過程的研究一般比較深入，形成了很多系統化的中觀、微觀機理模型，領域知識也比較豐富?？陀^來講，對物理系統本身的突破性知識發現難度很大。工業數據中體現出來的規律常常難以突破現有生產技術人員的認知范圍。與之相比，商業領域中僅存在一些宏觀理念，定性描述人的行為偏好和經濟活動規律，給大數據分析留有廣泛的提升空間。

3）新的驅動力不同：感知技術的發展和普及是工業大數據的驅動力，現有的工控技術很難處理大數據量的挑戰，大量的監測數據也為大數據分析帶來與業務數據融合分析的機會。而互聯網的發展為企業帶來與客戶交互的新渠道，極大促進了商業大數據分析的發展。工業領域的大數據大多是具有時空信息的結構化數據，且背后有明確的物理結構（如系統動力學、網絡拓撲關系等），對時間序列、時空模式、序列模式等結構模式挖掘非常重要。而商業大數據分析大多集中在結構化的數據倉庫表或非結構化數據（如文本、視頻），數據間除了實體關系和部分時空信息外，結構性關系較弱。

4）對分析技術的要求不同：工業系統的實時性高，動態性強，對分析結果的精度要求高，很難接受概率性預測，而商業應用常遵循大數原則，概率性的分析就可以為運營提供很大的幫助。不同工業應用場景對技術指標的要求也不同，比如在風機領域，大部件的故障檢測報警已經在PLC中實現，大數據分析只有提前若干小時的故障預警才有意義；油氣管道泄漏檢測中，泄漏發生后的及時報警也很有意義，但其要求零漏報、極低的誤報(管道深埋地下，誤報會給一線工作人員帶來很大工作量)；在抽油機監測分析中，可容忍分析算法對一些罕見或復雜故障類型的無法研判（類似漏報），但分析算法可以研判的出示功圖異常的的準確率應該是100%（這樣就可以降低70~80%的重復性工作）。

工業數據分析的價值實現之道

綜上所述，工業大數據分析更應該抱著“小數據”的心態，敬畏機理模型和領域經驗，把數據分析模型與機理模型充分融合。數據分析對工業領域知識的幫助主要體現在如下3個渠道：

1）物理過程和業務過程的融合。能將物理量與經營過程量（如產品質量、生產效率、設備可靠性等）的關系定量化，突破現有生產技術人員的知識盲點，實現過程痕跡的可視化。

2）對于物理過程環節，重視知識的“自動化”，而不僅僅是知識的“發現”。將領域知識進行系統化管理，通過大數據分析進行檢索和更新優化；對于相對明確的專家知識，借助大數據建模工具提供的典型時空模式描述與識別技術，進行形式化建模，在海量歷史數據上進行驗證和優化，不斷萃取專家知識，充分利用多維度融合帶來的統計顯著性（比如個別風場看似偶發的故障，在全體風場上可能有穩定的統計規律）

3）“軟”測量。在工業應用中，不同過程量監測的技術可行性、精度、頻度、成本差別較大，通過大數據分析，建立指標間的關聯關系模型，通過易測的過程量去推斷難測的過程量，提升生產過程的整體可觀可控。

小結如前所述，工業大數據分析更應秉承“小數據”思維，尊重機理模型和領域知識，利用數據分析技術手段，披沙簡金，釋放工業大數據的價值。為更明確指導工業大數據分析軟件架構，接下來本文將從分析算法側重點、分析模型與機理模型融合方式、業務應用場景等3個方面分享工業大數據分析的典型范式。

6類算法應用范式

數據分析本質上是一種統計手段，需要足夠的樣本才有可能發揮顯著作用。另外，數據分析作為探索未知的一種技術手段，它的作用也與機理復雜度密切相關。這里從產品相似度、機理復雜度兩個維度，將分析算法應用分為6類范式。

1）從工業產品的相似度來看，可分為大量相似產品（如風力發電機）和少量定制化產品（如就地建設的化工反應塔）。相似產品在數據分析時可以充分利用產品間的交叉驗證，而少量定制化產品應深度挖掘時間維度。

2）從產品機理的復雜性來看，有無需機理模型的black-box產品（如電子消費品，通常不會深入元器件內部去分析）、簡單明確機理產品（如風力發電機）、復雜機理產品（如鼓風機、化工廠）。復雜機理產品在工業大數據分析時，應更加重視機理模型和專家經驗的融入。

4種融合范式

分析模型與機理模型的融合可以分為4種范式：

1）分析模型為機理模型做model calibration，提供參數的點估計或分布估計。例如Kalman濾波。

2）分析模型為機理模型做post-processing。比如，利用統計方法對WRF等天氣預報模型的結果做修正或多個機理模型綜合，提高預測的穩定性。

3）機理模型的部分結果作為分析模型的feature。例如，在風機結冰預測中，計算風機的理論功率、理論轉速作為數據挖掘模型的重要特征。

4）分析模型與機理模型做ensemble。比如，在空氣質量預測中，WRF-CHEM/CMAQ等機理模型可及時捕獲全局動態演化過程，而統計模型可對局部穩態周期模式有較高精度的刻畫，model ensemble可有效融合兩類模型的各自優勢。

3類業務應用范式

通過對復雜過程的演化過程和上下文的全面深入刻畫，工業大數據對產品/設備可靠性、運作效率、產業互聯網等3類業務應用場景都有很大促進作用。一些行業的典型工業大數據分析場景如下圖所示。

小結

工業大數據分析能否真正落地，取決于能否創造經濟價值。價值的持續創造，必須與生產/管理流程和上下文相結合，必須理解工業的特點、工業數據的特征和工業界的特殊要求。

這些特殊性決定了工業大數據分析的思路和方法有別于商務大數據，更應以“小數據分析”的心態，融合機理模型和領域經驗。在分析模式上，本文將工業大數據分析歸納為6類算法應用范式、4種融合范式和3類業務應用范式，以期促進不同行業分析模型的復用。