邁向實操階段，工業大數據落地有多難_數據分析師考試

“利用大數據分析系統，我們的工程師可以第一時間發現機器出現的異常，從而將受損失的產品數量降到最低?！敝行緡H資深技術顧問王邕保對大數據的作用深有感觸。在中芯國際這樣的大型制造型企業中，每天各個部門都面臨這很多基于數據的決策，從工業大數據中降低損失獲取價值是最大訴求。隨著“中國制造2025”和“互聯網+”國家戰略的提出，工業大數據的應用，將成為企業提升生產力、競爭力、創新力的關鍵要素，也是我國工業轉型必須面對的重要課題。

實時數據流形成

大數據已經開始擺脫概念炒作的“霧霾”，開始走向實操階段。近日，獨立調研機構Vanson Bourne對11個國家中來自零售業、金融服務、醫療衛生、銀行業、電信業、保險業和政府的1000名IT管理者進行了調查。調查結果顯示，大數據戰略為95%的中國企業帶來了收益，96%的中國大型企業已經或計劃在未來一年內實施大數據項目。最值得注意的是，中國區參與調查的全部企業正在或將會利用大數據進行目標更精準的市場和銷售活動。

那么，對于工業大數據而言，與其他行業應用相比，又有哪些不同之處呢？

SAS全球行業最佳實踐高級總監Thomas Roehm在接受《中國電子報》記者采訪時表示，制造業應用大數據技術已有相當長的一段時間，不論是企業ERP系統還是生產車間的感應器等設備采集的數據，都能進行存儲和分析。需要指出的是，與之前相比，目前工業大數據技術應用最大的變化就是數據采集的速度更快了，從而形成了實時數據流的分析，這樣帶來的好處是可以加速工業企業建立預測模型，例如，提高良品率分析的效率，從而能更加及時地采取預防措施提高良品率，減少浪費并減低運營成本。當然，在完善供應鏈、提高產品質量方面也會有促進作用。

不過，Thomas Roehm也表示，無論是在未來的工業4.0階段還是智能制造領域，工業大數據最大的挑戰仍然是數據本身，特別是實時海量的數據如何更加快速采集、存儲和分析。

讓數據動起來

在工業領域，隨著物聯網技術的深入應用，將誕生越來越多的智能工廠，產品全生命周期中各個環節會產生大量的數據類型更為復雜的數據，例如半結構化和非結構化數據。對于這些數據，不僅給數據存儲帶來挑戰，更給數據分析帶來前所未有的難題。

“關于大數據的存儲，市面上已經有很多的解決方案，例如Gluster、Hadoop等等， 這方面技術已經相對成熟。但是，數據存儲下來并不是我們應用大數據技術的目的，如何分析和使用，讓大數據動起來，為業務提供價值更為重要?！?CA Technologies Erwin研發經理王錚在接受《中國電子報》記者采訪時表達了這樣的觀點。關于這方面，不同廠商提出了不同的方法。據介紹，基于多年的研究，CA Technologies認為數據模型是非結構化數據分析的基礎，因而，大數據分析的關鍵在于如何建立準確的、并且能夠自我學習、不斷完善的數據模型。

“隨著非關系型數據庫的崛起與非結構化數據量的增長，企業的數據庫環境會逐步轉變為異構混和環境，關系型數據庫和非關系型數據庫共存。這對管理帶來了更大的挑戰，以前只需要幾個DBA就可以管理的中心型關系數據庫，現在則需要更多專家、尤其是非關系型數據庫專家的加入，并且投入更多管理工具來維護和監控這個復雜的環境?！?王錚補充道。

達夢數據庫有限公司董事長馮玉才認為平臺化將是大數據技術發展的趨勢?！敖陙?，數據量的規?；鲩L和應用場景的越發豐富, 使傳統IT架構信息系統已無法滿足需要，企業級大數據管理不僅面臨著有效存儲、實時分析和再處理、以及各種信息安全風險等諸多挑戰，而且在大數據整合、管理、分析、呈現等各個環節，還需考慮所采購的不同工具之間的兼容、適配、以及建設和維護整套系統所帶來的成本壓力。因此，能夠提供從大數據存儲、交換、管理、到分析和呈現的一體化大數據管理服務的“大數據平臺”將成為未來市場的焦點?！?馮玉才表示。

需要“干凈”的數據

對于大數據分析，也不能完全迷信。用好大數據分析其前提則是數據質量要高。如果從一堆錯誤的數據里挖掘價值，那么得到的決策建議也是錯誤的。

西安交大管理學院副院長馮耕中向記者表示，大數據時代企業不僅要重視大數據技術應用，更要重視數據質量的管理。Thomas Roehm也認為，數據分析一切都是源于數據本身，因此一定要保持數據的清潔和干凈。

記者了解到，在工業生產中，傳感器搜集的數據就具有數據不純的問題，很多數據值是缺失的。例如，在進行相關溫度測定的時候，有可能只是溫度達到一定的預值之后傳感器才可能進行數據采集，從而導致最后收集到的數據是不完整的，這就帶來了問題。對此，不僅需要企業改善數據的純度，還需要對一些數據進行注入和補充，通過平均值或者是標準差等方式更好的進行建模分析，這樣才能得到正確的決策。

“當企業將數據收集起來并放到數據倉庫之后，需要進行數據質量相關的研究和管理，比如說判斷數據值是否正確，是否出現了重復和冗余的情況。另外，還需要在數據庫里部署相應的機制，這樣可以擴展到針對所謂的事件流進行實時的研究分析并發現相關數據的規律，從而進一步判斷數據值的缺失或者數據值不準確的情況，以此來保證收集數據的準確性?！?Thomas Roehm這樣建議。

Thomas Roehm還提醒到，工業企業除了生產之外，在產品營銷方面也會產生大量的非結構化的數據，特別是來自類社交媒體的數據。例如，有一些人針對產品進行點評，相關點評的真實性有時候是值得懷疑的，這個人有可能對這個產品不感冒，或者持否定的態度，他會一直發表針對該產品的一些負面觀點。那么如果企業把這種信息全部收集過來就有可能影響結果的真實度和客觀度，這就需要數據質量管理，確保最終分析的數據是優質的。

高端人才成掣肘

工業大數據，涉及到兩個主體，一個是工業，另一個是大數據軟件技術。在工業領域應用大數據技術對于人才的復合型要求更為突出。例如，做汽車行業的數據分析，不僅需要計算機、統計學、數學等知識，還要擁有豐富的汽車行業知識和經驗，通過這些知識經驗進行建模，才能開發出合適的分析方法，從而找到數據的價值。

“高度多學科綜合性是大數據研究的特點?！敝袊茖W院院士徐宗本表示，“數據獲取與管理涉及管理、物理、電子與信息等學科；數據存儲與處理涉及計算機科學；數據分析與理解數據數學與統計學；大數據應用則與各行各業相關學科關聯。要有技術儲備，還要解決好人才培養問題?！?/span>

和其他產業不同，大數據產業門檻更高。徐宗本認為其原因有兩方面：一方面，大數據要做的事是將無形的、雜亂無章的數據進行真正顯化，因此要有很高程度的科技儲備。另一方面，對于其他產業，技術相對成熟，只是需要將技術產業化。而大數據產業并不是技術已經成熟的產業，甚至可以說科學基礎都還沒有成型，但技術變化又如此之快，需要將基礎研究、技術研究和產業化融為一體。因此，發展大數據產業，產學研一定要有效結合。

目前，人才培養的重要性已被產業界和教育界意識到。例如上海就已正式啟動了“數據科學和大數據人才培養計劃”。上海市數據科學重點實驗室先期開展“大數據工程碩士項目”。同時，還面向在校大學生，建設一批研究生開放課程。除此之外，滬上大數據人才培養計劃還包括數據科學博士與博士后培養。

另外，阿里云攜手慧科教育集團啟動阿里云大學合作計劃AUCP（簡稱合作計劃），聯合8 大高校開設云計算與數據科學專業方向，北航、浙大、復旦、上海交大、西安交大、南大、武大、華南理工等首批8 所高校，正式落戶合作計劃。按照規劃，未來3 年，阿里云與慧科教育集團將在全國100 所高校完成專業課程開設，通過“互聯網+教育”的模式覆蓋300所大學的云計算與數據科學教育，培養和認證5 萬名云計算和數據科學工作者。此前，亞信與北航、慧科教育集團已達成戰略合作，推出大數據企業定制碩士培養項目，幫助亞信突破大數據人才瓶頸。