大數據的是與不是

在時下的流行語中，很難找出一個比“大數據”更吸引眼球的術語了。1980年，阿爾文 托夫勒在《第三次浪潮》中預言了信息時代的到來會帶來數據爆發，約翰 梅西在1998年的美國高等計算機系統協會大會上首次提出“大數據(big data)”一詞。什么是大數據?這一概念目前尚未形成統一的定義。幾種代表性的觀點如下：麥肯錫認為“大數據是指無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處理的數據集合”;維基百科認為“大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集”;全球最具權威的 IT研究與顧問咨詢公司——高德納公司認為“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產”。

　　大數據時代已經來臨，它將在眾多領域掀起變革的巨浪，這是勿庸置疑的事實，在以云計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值，而對于電網企業來說，大數據的應用同樣會促進企業的跨越發展。

　　大數據的本質是事物的時域、空域記錄，并非事物的描述數據

　　對于大數據的特點，IT界通常用Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)這4個 V來概括。Volume，指數據體量巨大，從TB級別躍升到PB乃至EB級別;Variety，指數據類型繁多。除了傳統的結構化數據，大量非結構化、半結構化數據如網絡日志、音頻、視頻、圖片等;Value，指價值密度低，但大數據分析的價值高。價值密度的高低與數據總量的大小成反比，以視頻為例，一部一小時的視頻，在連續不間斷監控過程中，可能有用的數據僅僅只有一兩秒;Velocity，指變化速度快。大數據不僅量大，而且變化快，大數據的應用依賴于對數據的快速處理。但在筆者看來，對大數據作4V特點的概括是現象而非本質總結。

　　其實人類文明就是大數據的記錄與應用積累，當今社會進入了信息時代，信息化的本質是用 IT技術和方法描述世界，描述事物的內在本質、過程規律和業務規則，信息化的應用過程就是在描述好事物的軟件系統中實現人工和 /或機器記錄，大數據的本質是事物的時域、空域記錄，并非事物的描述數據，大數據成為熱門是因為信息化、互聯網、終端的普及和應用讓我們進入了一個機器自動記錄的時代，爆炸性增長的記錄數據使傳統的人工、單機 /單節點的機器處理能力無法完成記錄的分析、挖掘，由此催生了云計算和大數據概念并推動人工智能的工程應用，機器學習等人工智能技術就是機器處理大數據及大數據應用高級模式。

　　大數據應用的本質是推導規律、預知未來，并非簡單的統計分析

　　在信息化時代以前，人類就有典型的大數據應用，如視覺美學總結的黃金分割(0.618)，社會學中的在特定時空范圍內存在的“二八”理論。大數據應用的本質是推導規律、預知未來，并非簡單的統計分析。在信息化時代，大數據極大依賴信息化及其應用，開展大數據分析也必須應用信息化方法與手段，符合信息化業務驅動、目標導向等原則，沒有目標的大數據平臺建設或掛大數據“羊頭”不利于信息化建設和大數據應用。

　　而互聯網大數據與企業大數據是有區別的，互聯網本質是跨區域的信息化網絡基礎設施，其大量的內容服務和居于互聯網社交軟件并不存在描述事物的過程即沒有對象模型，人們應用互聯網留下了應用記錄(大量的非結構化數據)，分析這些大數據記錄的前提是重新構建記錄的對象，對記錄標識特征。企業信息化一般經過業務標準化和業務流程梳理過程，所以企業的大數據是存在對象描述，但企業應用的困難是我們建設的系統在對象描述上不統一、對象上的記錄不完整。所以互聯網大數據與企業大數據應用盡管原理與方法一致，但分析工作的重點是有區別的?；ヂ摼W公司在開展大數據分析的工具、技術方法不完全適用于企業，更不能把互聯網大數據的平臺建設當做企業大數據應用工作的全部。

　　區別好對象模型數據與記錄數據是大數據分析的基礎，盡管描述事物對象的數據也可以達到 PB級，如人類的基因圖譜、地球大氣層流動模型、電網的網絡結構模型等，這些數據不是大數據，在這些對象模型上構建軟件并記錄的業務變化是大數據。所以在大數據應用方面存在兩類數據的預處理，一類是模型數據預處理，另一類是記錄數據預處理。模型層面的預處理本質是信息化建設方案的科學性、合理性。記錄的完整性很大程度上也是取決于信息化方案，同時也取決于信息系統的應用過程。一旦軟件上線，再作數據治理來解決模型之間的不一致性或對記錄的二次“模型化”加工是一種方法論上的誤導，正確的方法應該是依據企業架構和行業解決方案完善信息化架構，實現企業信息化架構規范和引導下的信息系統建設和應用，在企業層面統籌企業模型、統籌系統結構和功能界面、統一業務系統應用規范。企業的數據治理必須在建設方案中完成，系統建成系統后的數據治理是無效的，當然在系統運行過程中數據庫的技術數據治理是必須的。

　　大數據應用在電網領域大有可為

　　在電網企業中，電量數據是一組典型的大數據?？蛻艉涂蛻舻碾姳砼_賬是電量數據的宿主對象，采集系統中對客戶和電表臺賬進行建模，各用戶電表的時序記錄就是電量大數據。下面結合國網江蘇電力開展的負荷預測大數據應用簡述大數據應用方法。

　　首先是數據預處理。對象模型的預處理，依托營配調一體化，建立客戶和電表臺賬與電網供電邏輯關系，構建電網各電壓層級直至各臺區到用戶的關聯模型;記錄數據的預處理，對電量記錄電度值進行年度節假日除權回原，去除電量的節假日因素，去除記錄奇點和內插補全個別記錄缺點等。

　　其次是分行業回歸建立日電量與氣溫、濕度等因素用電模型，依據實時運行方式累計各臺區日電量、日負荷，完成各區域、各電壓等級的電量和負荷預測模型的構建，并構建模型機器學習，保持模型的時效性。

　　最后，由大數據平臺給預測模型導入實時氣溫與前一時段的電量和負荷，實現短期、超短期的全網負荷預測。同樣原理，關聯宏觀GDP與電量指數，結合業擴包裝量變化，實現中長期負荷預測。

　　2015年 ,江蘇電網以全樣本的用戶每日實時采集用電數據，結合十多年用電、業擴、氣象等歷史數據，建立起涵蓋全省各地區、分行業以及25萬專變用戶和40萬臺公用變壓器的包括溫度、濕度、節假日、周末等要素的多維度用電影響模型，模型包含的數據關聯關系超過110億項，開展負荷中長期、短期、超短期預測工作，有效指導了生產工作。

　　此外，電量大數據的應用在行業內外還有大量的可應用價值，如從用電設備節能潛力分析全社會節能潛力、大用戶用電特征分析行業產能利用情況、居民用戶家庭活動特征等，大數據應用在電網領域大有可為。