消費大數據的智慧之路

甲骨文公司全球副總裁、大中華區技術總經理喻思成表示，在過去的一年中，Oracle公司開始進入大數據的時代，提供了一些處理大數據的技術和平臺。前不久剛剛發布了大數據一體機平臺，把大數據的存儲、處理和商業智能展現在一臺機器中全部融合進去，同時Oracle公司提供了Analytics一體化機，提供了一體化BI的產品，把軟件、硬件、存儲、網絡交換全部集合在一臺機器中去。Oracle公司有這樣一個完整的解決方案，從后端的數據源、數據存儲、數據倉庫處理、前端中間件、前端BI展現，大數據本身只是數據藍圖的補充，這就使得無論是關系型的數據庫還是非關系型的大數據產品，最后為企業真正提供完整的解決方案。

 喻思成：各位好!我接下來想花半個小時給大家匯報一下Oracle公司在大數據方面的策略。講大數據這樣的話題，我們實際上在數據面前了一個“大”字，我想用更廣泛的議題向看大數據在整個數據策略中，它實際上是一個更小的話題。Oracle公司實際上是一個數據庫，我們公司是一個平臺性的公司，在這樣數據的概念之下講一講整體Oracle對數據的策略，以及大數據只是作為其中的一部分。 今天所有人都同意大數據很熱門，也很困擾，所有的CIO、CEO都在關注大數據，如何利用大數據、大數據的成本、大數據的回報，以及看到大數據的結果。Oracle和很多友商在過去的很多年中建立起了數據的應用、數據的技術、數據的產品。在談論大數據的時候我們不要忘了都是基于以前已經有的東西，所有大數據產生的結果都要和今天所有關系型的平臺都連接起來。 

熟悉的數據和系統。 我們現在已經有的一些平臺是大家耳熟能詳的，你有很多數據源，在數據源中你可以抽取起來，把它放到數據庫或者數據倉庫，前面有數據分析平臺，有很多公司部門級的應用、公司級應用對數據進行消費和使用，這是在我們過去二三十年里已經建立起的傳統關系型的數據庫，三重的架構、中間件平臺、前面建立起大型的應用。 成熟的數據管理和處理體系。 如何使用現有的新的大數據，把有價值的部分抽取出來，融合到已經現有的成熟數據管理和分析體系中。如果把這樣成熟的數據管理和分析體系用各個層次解開的話，我們需要有一個最底下的數據源層，比如關系型數據庫的數據源。我們有一個數據收集層次，我們通過數據采集交換的平臺，把它存儲下來，這是我們第一步需要做的。

然后我們有一個數據計算層，在數據計算層對數據進行處理和計算，無論是哪種數據源過來，無論是哪種數據存儲的方式，到最后要把數據整合起來。 以前有很多數據整合的工具，這些數據整合的工具可以在某一個時間的切面或者一段時間長度里或者整體的數據，把它進行一個切片，把它進行一個展示。所以，它更多是一個數據整合和展示的方式。在數據整合完了以后，人們對后端的數據源可能已經不在乎它從哪個源頭來了以后，我們在之上才真正開始談智慧的層面。在這個層面可能有數據庫，有數據倉庫，可能有文件系統，然后把它真正遞交給數據消費層。 在這個數據消費層有應用系統平臺，有數據平臺，有數據服務。

然后在底層討論怎么用BI最漂亮的方式、最可見的方式、最快速的方式、最可調整的方式，把數據洞察出來，把數據通過BI的方式展現出來。我們有報表系統，有交互式分析。 在大數據時代我們發現，我們的數據源不僅僅有傳統的結構化數據，還有很多非結構化的數據。比如說，我們的Splunk有機器產生的數據，有很多非結構化的數據。用傳統的數據存儲方式已經不符合要求，而且本身的要求也是有變化的，對于結構化的數據處理方式的要求和現在大數據處理方式的要求不完全一樣。但是不管怎么樣，我們今天并不是要完全顛覆這張圖，而是在這里面要加進很多新的處理方式，然后形成一個更完善、更完整的數據管理和處理體系。 Oracle公司是一個數據庫公司之家，后來它成為一個中間件公司，成為ERP公司，成為完整的軟硬件一體化的IT處理廠商，IT工具的廠商。

我們最重要的最自己的定位是IT平臺廠商，我們提供的是這樣的一個平臺，我們要和很多廠商一起合作，尤其是一些做工具的廠商，尤其是一些實施的廠商，做深度挖掘的廠商進行合作，為每一個客戶提供最全面的解決方案。 Oracle公司更專注的是結構化的工具，RDBMS平臺，或者是ERP平臺等。在過去的一年中，Oracle公司也走入了大數據的時代，也提供了一些處理大數據的技術和平臺。前不久剛剛發布了自己的大數據一體機平臺，把大數據的存儲、大數據的處理、大數據的BI展現在一臺機器中全部融合進去，同時Oracle公司提供了自己的一體化機器，這是在Analytics方面的產品，提供了一體化BI的產品，它是把軟件、硬件、存儲、網絡交換全部集合在一臺機器中去。 我們想要做的是什么呢? 加上我們以前有的關系化、關系型的、結構性存儲的所有平臺，把大數據存儲的非關系型、非結構化的數據都融入到這個大的平臺里面。這個大的平臺里怎么樣處理結構化和非結構化的數據到一個平臺里呢? 大數據來自何方? 這些數據來于泛互聯網數據，機器產生的數據，以及行業內容的數據。

這些數據有4個V，數據量非常大，有很多種不同的結構，爆發也非常大，增長速度很快，價值非常大。其中最核心的兩個技術，比如Hadoop、NoSQL，它們實際上并不是Oracle數據庫的對立或者競爭，而是Oracle數據庫的一個補充，今天Oracle公司也擁抱這些技術，使得我們能夠擁有更大數據庫平臺。 不僅僅只是Hadoop和NoSQL。 首先，對于流數據的處理，Oracle提出了Oracle的CEP，它對流量數據的高速處理，怎樣快速地處理數據流。Oracle公司現在已經有現存的內存數據庫產品，也將融入到更大的數據庫處理平臺中。同時，Oracle公司走向軟件應一體化的公司，我們不斷地提供新的軟硬件一體化的產品，與此同時我們推出一體機產品，剛剛展示的是我們針對BI的一體機的產品，在大數據時代最后所有的數據出來最后必須要在BI平臺上表達，Oracle公司提供軟硬件一體的BI平臺。 

大數據所有的數據出來以后，最后非結構化的數據還要導到結構化倉庫、平臺、數據庫中。那么，如果提供這樣一個連接把非結構化數據導入結構化的數據中?Oracle公司根據以前做結構化數的優勢來提供。 還有存儲方式的問題，Oracle公司提供一整套的一攬子的解決方案，包括云存儲、存儲技術產品，我們現在有了這些技術。 基于時間窗口的數據計算模式。 我們在以前處理大批量數據、結構化處理數據的基礎之上，今天我們擴展視野，今天能夠做更多的持續性的流量數據，能夠做大海撈針的實時計算。比如說我們有一個電表，在這個電表里面不是時時刻刻產生電表的數據，這樣機器產生的數據有很多種，但是它有一個特征是持續產生流量的數據。

那么，我們可能要在一個時間段或者整體時間段把所有的數據截持下來分析。要不停地消費這個數據，它也是一個流量處理的過程，這樣才會產生實時或者半實時的流量數據分析的結果。所以，它是一個流式計算的方式。 第二種方式是以前耳熟能詳的信息海量計算，我們有數據倉庫，在數據倉庫中進行大規模的數據計算。但是同時現在還有一種大海撈針的新的計算方式，比如當一輛車開過收費站的時候，拍一張照片，看車牌以后，立即在全國的照片中分析它是不是有犯罪記錄，在桿子提高之前就得到一個結果是否要把這輛車作為一個犯罪車輛截下來。應該說，這都是屬于數據的范疇，但是很多時候處理的方式是不一樣的。

 大數據計算模式組合。 Oracle希望把所有的計算手段都融通結合起來，我們希望使大數據計算成為我們計算方式的一種。無論是今天的大數據，還是以前擁有的數據，還是我們所說的流式計算，都希望能夠把它融通結合起來。 完備的數據管理和處理體系――多結構化 它能夠處理文件的數據源，也能夠處理事件的數據源，比如說微博，比如泛互聯網的數據源，再比如說行業的數據源。Oracle公司希望能夠提供這些數據源的處理方式，在一個數據收集層里有數據采集交換系統，才存儲的時候希望能夠提供原來的集中式的文件系統，結構化地存儲。同時，也能夠提供分布式的文件存儲的方式，以及靈活存儲的方式。比如說，非結構化存儲的方式等我們都能夠提供。 在數據計算層，我們不僅能夠處理原來大量數據的批量計算，也能夠處理剛才所說的流式計算和實時計算。在數據整合層次，我們能夠提供一攬子的整合方案。我們有原來傳統的數據庫、數據倉庫，但是同時也提供靈活的數據存儲系統。

在數據消費層，我們提供一攬子數據應用消費平臺和數據共享服務平臺，最后在洞察層提供交互分析。 最全面最強的Oracle數據管理和處理體系。 Oracle公司有自己原來的產品，在非結構化數據的數據整合方案中，Oracle剛剛發布了BDA產品，它提供最底層的存儲、上面的硬件，使得我們所有使用Hadoop的應用程序的開發人員可以在這個平臺上繼續使用Hadoop，你可以有平臺，你可以有數據庫，我們提供存儲平臺，Oracle公司提供全面的技術支持。也就是說，你可以在里面節省大量的時間，沒有必要從存儲到Hadoop的平臺、數據庫語言優化、后端產生的數據，轉化成關系型數據以后，把它存儲到關系型數據庫中自己去書寫，完全由Oracle去做，而且它的價格并不是很昂貴。

而且在之上Oracle公司給你提供最好的保障，因為Oracle公司并不是簡簡單單地把軟硬件加在一起，我們有加速的過程，我們提供軟件和硬件的同時，使得它的運算速度提高十倍甚至上百倍以上，對于某些計算倉庫的運算速度甚至提高上千倍。在傳輸、軟硬件結合方面我們都做了很多優化。 同時，在流量處理方面，Oracle公司有自己的CEP產品，專門對于這種事件型或者流量型的數據進行非?？斓奶幚?。在數據存儲層，有了ZFS技術，同時支持NoSQL，完全由用戶自己選擇。在數據計算層來說，Oracle公司有自己傳統的數據庫產品，它可以非?？焖俚貪M足傳統的批量處理的數據能力。但是同時如果說我們要進行實時地計算，Oracle公司也業界最優秀的內存數據庫的產品Times Ten，使得計算速度非?？?，在落桿之前計算出這個車牌是不是犯罪車輛。如果對流量計算有要求的話，我們有自己的CEP技術。

 在數據整合層，Oracle公司也Big Data Connector，最后落下來都成為一個關系型數據，把它導入傳統關系型數據庫。在數據智慧層來說，Oracle公司的產品完全融合在一起，無論是關系型數據庫產品，還是非關系型數據庫產品都可以融合在一起，到最后我們還要把它消費，數據是拿來用的，不是為了存儲。所以，在這之上需要一個中間件平臺，我們推出了Exalogic推出來，把硬件和帶寬的產品全部融合在一起，成為一個一體機，使得原來JAVA的應用整合在一臺機器。

所以，我們可以提供完整的、非常強壯的中間件處理平臺。 到最后前端你要表達出來，BI產品Oracle公司有最好的EPM產品，再加上前端BI已經擁有的產品，Oracle公司的BI產品包括原來的OBIEE，以及展現報表的工具，現在都展現在Analytics這個平臺上，使用Oracle原來的一些軟件同時加上Oracle公司公司的硬件，徹底一個一體機，把數據導到Analytics里面進行運算，幾個T的數據庫可以讓它在內存中進行實時的內存運算，速度非?？?。 Oracle公司有這樣一個完整的解決方案，從后端的數據源、數據存儲、數據倉庫處理、前端中間件、前端BI展現，大數據本身只是數據藍圖的補充，這就使得無論是關系型的數據庫還是非關系型的大數據產品，最后為企業真正提供完整的解決方案。在解決方案旁邊，Oracle公司還提供管理，Oracle公司全部同步以一個產品發布，數據庫到了12，中間件也到了12，我們所有的產品到12個版本，Oracle所有的產品為云而準備。整體的這張大圖都可以以云的方式進行管理，包括從內存的CPU到帶寬的數據、IO吞吐量，以及內存的使用率、CPU的使用率、存儲的使用率，一直再到中間件處理平臺、數據庫起和落、前端BI的展現，全部都是在一個大的Oracle提供的EM平臺中展現，而不需要從不同的廠家不同的產品找一個方案進行整合。

同時，我們也有安全，有統一的控制和前端的展現方案。 軟硬件優化集成的Oracle大數據綜合解決方案。 我們提供Big Data Appliance、OracleExadata、Oracle Exalogic、Oracle Exalytics。我們希望我們的有商在我們的平臺之上開發，為我們的客戶提供完整的應用。