迎接大數據，這里的黎明真熱鬧（SAP篇）

SAP不久前才收了Sybase，實力充盈了不少。經過幾輪收購整合，BI場上的真正玩家越來越少了。不知道那些產品線單一的刺客們還能獨行多久。
一個新的時代已然披紅掛彩鞭炮齊鳴地揭開了序幕。

這里的黎明真熱鬧

信息時代圓滿落幕，智能時代破曉而出。寬帶通信、智能終端、社交網絡、量化分析重新定義了生產商、分銷商和消費者之間的關系。數據在容量、種類、速度方面的增長帶來了新的挑戰，而這挑戰中蘊藏著巨大的商機。

信息的獲取、分析和管理是智能時代的主要任務。那些還在沉睡的組織，它們可能馬上就會被數據壓住，然后從噩夢中驚醒，不堪重負，氣喘吁吁。而那些天還沒亮就行動起來的勤勞小鳥，不僅能抓住數據，還會進化出量化分析能力，并由此做出正確決策，取得競爭優勢。在又一次商業大潮來臨之際占得先機，有效分配資源，進行可持續、安全的管理，為自己的社區提供更好的產品或服務。

大數據的動力

為什么是現在？它有什么新鮮玩意兒？

商業和公共組織要在全業務流程上投資大數據解決方案有各種各樣的原因。盡管在各種大數據會議和與大數據相關的文章中最引人注目的是社交網站產生的數據，但經過調查，業務數據分析才是推動組織采用大數據解決方案的根本原因。

圖1 使用BI、量化分析和大數據技術主要動力的調查反饋占比

然而，不管上圖中反饋結果的評級如何，我們都必須意識到，大數據所涉及的業務流程、技術和專業知識范圍都很廣泛。正因如此，大數據幾乎帶來了無限的機遇，但因為天地太過廣闊，指望著大有可為的青年們也會覺得有點找不著北。

大數據解決方案的終極目標，是為組織中所有層面的決策者提供更強大、更快速、更全面的洞察力，從而讓他們做出更好的決策。

IDC 決策管理框架

IDC 決策管理框架是一個評估這些機遇的工具。這個框架可以應用到大數據用例上，并能描繪三種決策類型和每種決策類型的四個主要變量，如圖所示：

圖2 IDC 決策管理框架

戰略決策因為其周期長，未知因素多，所以范圍最廣、風險最高。戰略決策的數量相對來說也很少；它們要求內部決策者和外部決策者之間要有較高的協作水平，而且實現自動化的可能性也很低。而另一端的戰術決策可能是由一線員工或系統完成的。在一個時間周期內會有很多這種決策，并且所有決策幾乎都沒什么風險，也易于自動化。這些決定都是在現場，在工作流當中做出的，因此決策過程中發生協作的可能性很小。在IDC 決策管理框架中，運營決策介于兩者之間。

每個決策類型相關的人群也不同。運營決策是由業務分析師或定量分析師跟管理層一起做的，戰略決策是高管做的，戰術決策是一線員工或自動化系統、應用程序或機器做的。某一級決策的輸出會變成下一級決策的輸入。除了要考慮人員、資金和業務流程之外，理解組織的決策需求是邁向創建業務分析戰略的重要一步，而業務分析戰略是考慮所有相關技術的根本。

最后，不同的決策類型和決策者可能會要求不同的數據和數據技術支持。這些技術包括數據收集、數據監測、數據管理、數據分析和數據傳播等。戰術決策通常都是基于對實時數據流的監測，所采取的行動也是遵照預先定義好的規則。運營決策可能需要對海量的多種結構數據進行深入分析。戰略決策可能需要對即時系統根據情景所作出的響應進行快速評估，以便能夠改善風險管理。

滿足所有決策者的需求是一項艱巨的任務，不可能僅憑一種技術或一個項目就可以完成。

大數據的挑戰

決定哪些數據相關是個難題。

2012年初IDC發起的一項調查表明，被提到最多的困難是決定哪些數據相關。IT和業務部門都聲稱他們需要重新評估組織內部為支持決策過程所評測的數據。很多組織都在重新思考如何分析現有數據和新的數據源，以改變或改善決策支持、決策自動化和績效管理流程。量化的思想或許會對解決這個難題有所幫助。

此外，技術基礎設施的成本，缺乏合適的分析人員和IT人員，缺乏業務支持，或理解不了大數據所能帶來的好處，這些挑戰都在阻礙著他們抓住智能時代帶來的機遇。

這些挑戰表明許多大數據應用都缺乏公認的最佳實踐。你有數據可以收集、分析，并按分析結果所做的決策采取行動。然而能否實現目標卻取決于：

• 組織是否具備確定新指標的能力；
• 組織雇傭的員工是否有稱職的分析技能、信息管理和系統管理技能；
• 組織的文化是否由分析驅動，能把分析結果當做可信的輸入來做出決策；
• 組織是否有合適的技術可用。

大數據對技術的需求

什么是大數據

IDC對大數據技術的定義：為了能用經濟有效的辦法從各式各樣的海量數據里提煉價值而開發出來的新技術，包括硬件、軟件，和服務。它們能高速地完成數據捕獲，發現和分析任務，對符合“4V”特性的數據進行整合、組織、管理、分析和呈現。

4V指數據量（volume）, 數據種類（variety）,數據產生和處理的速度（ velocity）, 數據的價值（value）

數據量：大小并不是特別重要

盡管大數據里的“大”暗指數據的量大，但我們必須明白“大”是一個相對的概念。某些行業和組織可能連GB或TB的數據都很少見，而社交網站的數據則動輒就達到了PB或EB的級別。不管怎樣，那些看起來不大的應用程序進行信息處理和分析的緊張復雜程度可能完全符合我們對大數據應用的定義。金融服務業就能很好地說明這個問題。在某些大數據處理活動中，所涉及的記錄數可能有上百萬甚至上億行，但每條記錄的長度可能只有幾個字節（比如股票行情信息）。相反，email歸檔累計起來可能有幾個PB的數據，其中包含著高端客戶的建議或抱怨，項目的記錄，法務記錄，合同和提案等各種數據。郵件歸檔通常能最準確地反映出未決的及當前的業務狀況，但只有經過排序和挖掘之后，才能發現其中的價值。產品設計制造也是這樣，比如在汽車和航空公司里，要對成百上千個虛擬原型進行評估，以便找出最佳的車輛(飛行器)設計。還有大型科學實驗，每天要產生PB級的混合數據，作為復雜的模擬數據輸入計算模型中。

數據種類：重要的是數據源和數據格式

多樣性是大數據的關鍵屬性。是否從多種數據源對多種格式的數據進行整合，是判斷一個應用程序能否被稱為大數據應用的決定性條件。

大數據應用通常都會從多個數據源（既有內部數據源，也有外部數據源）抽取類型不同的數據（結構化、半結構化和非結構化）。無論從技術上，還是從潛在影響來看，這都是大數據中很重要的一個方面。對不同類型的信息進行組合是一個復雜的技術難題：一條客戶記錄跟一條微博哪個比較重要？怎么才能把大量不斷變化的病人記錄跟公開發表的醫療研究報告和基因組數據結合起來，以便為某個病人找出最佳治療方案？

把來自于ERP系統的內部運營數據，來自于web日志文件的半結構化數據（識別客戶在線行為），以及來自客戶評論的非結構化文本情感分析數據混搭在一起就是這種情況。先進的天氣/氣候模型也屬于這種情況，借鑒100多年的天氣數據和新的海水行為物理模型，CO水平變化，結合衛星數據進行實時天氣狀況模擬。

速度：信息到達、分析和交付的速度

組織內部有各種不同的系統，數據移動的速度可以分為批量整合定期加載和實時數據流兩種。傳統的數據倉庫，也是現在使用Hadoop的主流數據處理方法用的就是批量整合、定期加載。而采用實時數據流的技術領域一般包括復雜事件處理（ECP），規則引擎，文本分析和搜索，推理，機器學習和基于事件的架構。

評估大數據速度需求的關鍵是搞懂業務流程和最終用戶的需求。比如說，對于應急響應組織或證券交易公司而言，每一秒（甚至毫秒）產生的數據都很寶貴。還有機場，為了在罪犯進入機場時就能發現，需要進行實時的面部識別。然而作為MapReduce和Hadoop發祥地的搜索引擎，為確定算法的準確性或廣告的匹配度時而對十幾億的查詢數據進行處理和挖掘時，并不需要實時分析。換句話說，用恰當的時間獲取準確度合適的恰當信息才是我們所需要的。

不同的用例適用的技術架構也不同。在架構界流傳著一句老話，“只要扔進去足夠多的硬件，任何問題都能解決”。業界已經為解決特定問題搭建過大型超級計算機和大規模集群了，這句話的正確性毋庸置疑。

然而現在需要用專門的硬件來滿足的高性能需求越來越少了。高可用集群，可擴展的文件系統，多CPU，多核處理器的出現意味著利用現成的商業組件進行組合就能輕松滿足性能要求?，F在社會化應用甚至大多選擇部署在云服務上，根本就不專門考慮硬件。

價值：資金，運營，業務優勢一個都不能少

在大數據里談到價值，既指使用大數據所需技術成本的降低，也指使用大數據創造的價值。成本是大數據問題在智能時代得以解決的決定性因素。在金融服務，電信，零售，研發和政府組織中的大型數據倉庫已經存在好多年了。在交易、天氣監測或欺詐檢測應用里的實時數據管理也存在好多年了。以文本挖掘的形式出現的非結構化內容分析也存在好多年了。用于科學研究的高性能計算系統也存在好多年了。然而自從進入智能時代，那些曾經只有政府機構或某些行業少數幾個大公司才負擔得起的系統，現在也擺上了“尋常百姓家”的餐桌。更多可用軟件的出現和不斷降價的硬件，讓更多的組織可以在預算中hold住這些大數據技術。

從大數據項目中得到的好處大致可以分為：

• 資金成本降低 ：軟硬件和其它基礎設施的成本降低了
• 運營效率提高：由于數據整合、管理、分析和交付的方法更加高效，人力成本也降低了
• 業務流程改進 : 因為采用新辦法（或更好的辦法）來開展業務，包括商業交易的改善，社區的可持續管理，社會資源、醫療保健和教育服務的恰當分配，使回報或者說利潤得到了增長。

大數據所代表的并不是企業范圍內單一、同質的需求。然而大多數人并沒有認識到這一點，普遍的看法是只有那些要用Hadoop處理的海量數據才是大數據。比如在IDC得到的調查反饋報告中，40％的受訪者認為大數據是指海量數據，26％認為是指各種各樣的數據，24％認為是指實時流數據，10％認為它是指高性能計算。

對大數據的誤解

大數據技術所呈現出來的機遇持續增長，越來越大。改善現有業務流程和大數據技術有關，推出新業務和大數據技術有關，改變跟客戶的交互方式跟大數據技術有關，為了支持范圍更加廣泛的決策過程，要對為什么分析數據，以及怎么分析數據進行重新評估，這還和大數據技術有關。

哪里有需求，哪里就有市場。大數據解決方案的市場雛形剛具，各路英雄豪杰各顯其能，打破了頭也想要擠上這趟車，場面一片混亂。對于什么是大數據，以及大數據技術能干什么，無論用戶還是供應商，都有諸多誤解。

• 大數據分析就是用最新開發出來的技術做些新穎的，不同以往的事情。大數據就是做些新東西的思想是錯的。大數據的概念已經出現幾年了。真正發生變化的，是現在的經濟條件允許我們使用大數據了，是我們現在有能力用計算機輔助發現那些從各種數據源匯聚而成的超大數據集之間的關系了，是我們已經意識到，如果能用正確的工具在正確的時間向正確的決策者提供正確的信息，量化分析是可以形成競爭優勢的。
• 大數據技術就是跟Hadoop環境（廣義上說是MapReduce環境）有關的技術，和工作負載或應用無關。 我們產生這種誤解的原因可能是因為覺得關系型數據庫不能擴展到超大規模數據容量上，所以不能算大數據技術，或者說范式化的DBMS已經過時了，范式數據庫只是大數據部署中的數據源之一。另外一種常見的誤解是大數據是一種技術，比如Hadoop，能滿足所有的大數據處理需求。而事實是完成這項任務的技術必須經過精挑細選。就像沒有一把鑰匙能開所有的鎖，沒有哪種大數據技術可以滿足所有的大數據需求。盡管NoSQL數據庫在大數據應用中越來越流行，關系型數據庫也仍然在發揮著重要作用。盡管Hadoop在市場上越來越受青睞，但它既不是數據管理的唯一之選，也不是僅有MapReduce的實現。
• 大數據僅僅跟超大量的數據有關，引申來說，主要是跟數據有關。 大數據集肯定是大數據市場趨勢的關鍵部分。實際上，40%的組織認為大數據就是超大量的數據。但它還有其他特性，比如實時或流數據、類型或格式繁多的數據。有些大數據技術針對的是三種特性的其中之一，有些針對其中兩個或全部三個特性。
• 大數據就是數據挖掘的時髦叫法。 數據挖掘是指可以用來分析大數據集的一組分析技術。其中的一些技術已經用了幾個世紀了；也有一些是最近才出現的。然而，大數據，按照IDC和大多數市場觀察和參與者的定義，是個范圍更廣泛的主題，包括數據收集，數據管理和組織，數據分析，信息訪問以及運營負載，還有用到一些新的和已有的大數據技術的應用。
• 大數據是個挑戰。可能現在對大數據最嚴重的誤解就是只要采用了大數據技術，就能解決業務問題，就能增加收入，降低成本，還能吸引客戶。把大量數據保存下來，不管是在關系型數據庫中還是在Hadoop集群中，都不是最終的目的。搭上就好的技術部署方式從來就沒有成功過，在大數據這兒也不靈。分析數據也不是最終目的。到不了決策者手里，或被決策者忽略的分析結果非常多，其中不乏由鼎鼎大名的數據科學家做出來的偉大的、有見地的，并且及時的分析，還有些分析因為沒考慮到人類在交互過程中的行為變化而適得其反。最近就有個非常有名的例子，一家大型零售商為確定客戶群開發了一套非常精確的分值預測系統，但在向選定客戶進行營銷時卻失敗了，因為它對受眾對個人隱私保護的敏感程度考慮的不夠充分。

理解這些誤解非常重要，不然你很可能會陷入毫無意義的技術對比優劣之爭。實際上，對于大多數有一定規模的組織來說，為了對工作負載和應用進行改善，需要多種大數據技術共存。

大數據技術

根據所處理數據的不同，IDC認為大數據技術可以分為兩類：處理運動中的大數據，處理空閑期的大數據。

運動中的大數據

運動的大數據是指快速流動的大量數據，這些數據一經收到就要馬上處理。這樣的數據包括股票交易數據，智能電表數據，實時庫存管理系統中的RFID數據等等。與數據相關的操作可以分為三類。

對于運動中的大數據，在收到之后會對它們進行過濾，并做正規化處理（變成統一的或可讀的格式）。這通常是由接收程序完成的。系統會決定是否需要進行響應。這可能會牽涉到一個復雜的事件處理引擎，得到新數據，根據保留的數據（包括來自數據流的緩存數據和保存在快速存儲【一般是內存】數據庫中的數據）應用新的數據，并確定發生的是否為已定義的事件。如果發生的是已定義的事件，CEP引擎會觸發一個動作，也就是程序對該事件的響應。

運動中的大數據對技術的要求是數據接收，格式化和響應的速度能跟上數據到達的速度。相關的技術包括智能高速數據遷移和轉換技術，內存數據庫和CEP技術。

空閑期的大數據

目前所討論的大數據大部分是指空閑期的大數據，處于空閑期的大數據包括“機構化”和“非結構化”的數據。后來，很多專家對這些術語提出了異議，指出我們所說的“非結構化”數據實際上也有結構，只是它們的結構不是由范式或程序代碼確定的。要處理這個問題，我們可以考慮下表中的分類：

對于空閑期的大數據，相應的技術應該具備盡快采集數據的能力，整理和轉換數據的能力，分析數據的能力，還有將數據置于待處理狀態的能力，從而可以對它們進行有意義的搜索、挖掘、探索、查詢，和產生報告。

NoSQL和SQL數據庫技術在大數據中都有重要作用。NoSQL數據庫非常善于支持大數據的“多樣性”，能夠接受來自多種數據源的多種格式的數據，然后程序代碼可以對這些數據進行篩選，過濾，和組織。很多Hadoop程序都是這么干的。SQL數據庫非常善于處理大量結構一致的數據，可以在這樣的數據上產生常規報告、挖掘和重復進行分析。

具備動態擴展能力的RDBMS能處理非常大的數據庫，而且作為大數據SQL DBMS能快速處理這種數據庫請求。

NoSQL是另一回事。這個隨處可見的詞實際上是很多種DBMS的統稱，每種DBMS都有特殊的用途，而且多種數據庫可能會一起出現在同一系統中，作為大數據操作流的有效組成部分。如下表所示：

大數據應用

大數據解決方案的使用范圍非常廣泛。目前市面上能見到的基本如下圖所示：

我們可以從活動、業務流程和行業三個維度來對這些用例進行評估。

活動

并不是所有使用大數據技術的應用都是為了分析數據。有一些是為了部署社交網站或游戲應用，還有一些是為了存儲大型內容，提供海量文檔的信息訪問。

• 分析（比如數據挖掘，多維分析，數據可視化）
• 運營（比如運行網站，處理在線訂單）
• 信息訪問（比如基于搜索的信息訪問，規范化，以及跨內容和數據源的訪問）

業務流程

大數據技術被部署在商業組織、非盈利組織和政府組織內部以支持他們的工作流程。組織所面臨的問題和困難不是大數據挑戰，而是受大數據影響的業務或組織問題。部署大數據技術的業務流程有：

• 客戶關系管理（銷售，營銷，客服等）
• 供應鏈和運營
• 管理（集中在財務及會計，人力資源，法務等方面）
• 研發
• 信息技術管理
• 風險管理
• 行業

除了財務、營銷和信息技術管理這樣跨行業的業務流程，還有多種特定行業的應用。這樣的例子包括：

• 運輸行業中的物流優化
• 零售行業的價格優化
• 媒體和娛樂行業的知識產權管理
• 石油和天然氣行業的自然資源勘探
• 制造業的質保期管理
• 當地執法部門的預防犯罪和調查
• 保險行業的預測性損失評估
• 銀行業的欺詐檢測
• 醫療保健行業的病人治療和欺詐檢測

面對如此廣闊的市場前景，提供大數據技術解決方案的供應商既有小型的專業化公司，也有產品線豐富，生態系統完備的大型公司。SAP屬于后者。