
大數據引發數據庫行業變革
數據庫市場成形于上個世紀80年代。近年來隨著云計算、大數據應用的興起,面對爆發式增長的海量數據,傳統數據庫已難以應對;面對以視頻、圖片、文字等非結構化數據為主的大數據,傳統商業智能系統和數據分析軟件缺少有效地分析工具和方法。大數據引發數據庫行業變革,國產數據庫迎來三十年不遇的戰略機遇期。
在激烈的市場競爭中,國產數據庫廠商逐漸壯大起來,目前已經形成了以南大通用為首的國產數據庫四大品牌。在新型數據庫領域,國產技術已經與國外品牌站在了同一起跑線上。
2013年4月,相關媒體發布《中國數據庫市場發展趨勢報告》。通過深入分析大數據對于數據庫市場的沖擊,剖析OldSQL、NewSQL和NoSQL三類數據庫技術的優缺點,梳理了中國數據庫市場的發展特點、發展趨勢,發展機遇、市場競爭環境等,從而為國產數據庫廠商應對大數據時代的戰略發展規劃提供了重要的參考和建議。
一、大數據時代企業級數據處理需求
大數據可以分為行業大數據和互聯網大數據兩個類型,其中行業大數據又可分為四類:經營類、管理類、監管類和專業類。從占比上看,目前我們所說的大數據,有80%是來源于互聯網大數據;從體量上看,行業大數據的體量與互聯網大數據的體量相當,兩者基本位于同一數量級上;從價值上看,行業大數據的價值密度高于互聯網數據。
在未來3到5年,行業應用數據分析將成為大數據應用主戰場。真正能夠利用好大數據、并將其價值轉化成生產力的企業必將具備強勁有力的競爭優勢,從而成為行業的領導者。目前來看,政府、金融、電信、零售等將是最先使用大數據工具的行業。
表 1 大數據時代企業級數據處理需求
項目 業務特征 應用趨勢
政府 公安 公安機關部門、警種繁多,造就了數據的海量化和類型的多樣化。 利用對大數據的分析、挖掘,實現對人像,指紋比對,卡口等數據融合處理,從而為領導指揮決策,各情報分析提供支撐。
信息
安全 宏觀上的網絡安全態勢感知和微觀上的發現安全威脅,需要對海量日志信息進行定期的關系分析。 通過自動化分析處理與深度挖掘,將之前很多時候亡羊補牢式的事中、事后處理,轉向事前自動評估預測、應急處理,讓安全防護主動起來。
氣象 數據包括溫度和氣壓讀數、風速、圖像以及來自衛星、氣球、船只和飛機的觀測結果,而這些數據將以每天TB級的量級增長。 通過合理的梳理數據流,可提供更有價值、更加及時的氣象信息,同時更好、更精確和更具預測性地進行環境預測。
交通
管理 系統性,數據量大;復雜性,涉及多方面數據;動態性,信息實時處理要求高。 對各種交通數據進行大量采集和系統分析,實現對道路和交通狀況的全天候和全天時感知。
稅務 稅收信息包含種類繁多,人員涉及廣泛。 通過稅收數據的集中處理,真實、實時、全面地掌握稅收工作各項數據和整體情況。
社保
管理 社?!耙豢ㄍā睂a生的海量數據信息,并且呈現出幾何式增長態勢。 對于海量信息進行合理分類、科學分析、有效預測。
電信行業 數據量激增,保存時間長;受眾群體大,市場飽和度高。 數據流量暴增,向智能化管道轉型;規避同質化競爭,尋找差異化經營“藍?!?。
金融行業 設備先進,功能齊全;自動化程度高,安全保密性強。 金融智能決策、金融服務創新。
零售行業 零售行業需要及時響應客戶需求,實現精準營銷。 個性化精準營銷要求零售企業對消費者消費行為、天氣等進行大數據分析,結合客戶的購物習慣,提供一致的個性化購物體驗,以提高客戶忠誠度。
二、大數據引發數據庫行業技術變革
大數據引發數據庫行業架構創新。美國著名數據庫科學家邁克爾?斯通布雷克(Michael Stonebraker)指出,行業技術的發展趨勢是由一種架構支持所有應用轉變為用多種架構支持多類應用。在大數據和云計算的背景下,這一理論導致了數據庫市場的大裂變:數據庫市場分化為三大陣營,包括OldSQL(傳統數據庫)、NewSQL(新型數據庫)和NoSQL(非關系型數據庫)。為了提升性能,NewSQL陣營普遍采用了列存儲技術;NoSQL陣營普遍采用了KV技術。三個陣營都不同程度地采用了分布式計算、分布式文件系統、內存計算技術,并積極地使用新的硬件技術,如大內存、Flash、SSD和高速網絡連接(萬兆交換機和Infiniband)等。
三者在數據管理能力、數據的價值密度以數據處理的實時性等方面各有所長,從而勢必造成在未來的數據庫軟件市場上出現結構混搭、多種技術并存,并且和諧相處的局面。然而,由于受數據管理能力所限,伴隨數據量逐年增加,OldSQL生命活力受到極大影響,未來將呈現不斷弱化的趨勢;在NoSQL領域,雖然其在數據管理能力方面具備先天優勢,但是因為NoSQL處理的大多為互聯網數據,其價值密度較低,因此其市場活力呈現較為穩定的態勢;在NewSQL領域,其數據管理能力高于OldSQL,又面向數據價值密度較高的行業大數據,促使其具備較高的市場活力,雖然其進入市場時間較晚,但是未來其市場活力必將超越OldSQL、NoSQL,成為在數據處理技術領域新的“王者”。
面對大數據,傳統的行式存儲數據庫已經盡顯頹態,數據庫軟件巨頭也通過加強研發、收購等方式加強自己在大數據領域的影響力,紛紛推出自己的面向大數據庫的新型數據庫解決方案。而在新型數據庫中,以列式存儲為主的數據庫如Sybase IQ,GBase 8a,Vertica等表現優異,成為NewSQL的典型代表。
三、應對大數據,國產數據庫迎來新機遇
由于國家信息化建設的需求,電子政務正處于深化應用階段,對數據的開發利用將成為新的方向,這樣就給國產數據庫發展帶來非常好的市場機會。特別是由于政府、能源等關鍵行業比較注重信息安全保障,因此國產數據庫軟件獲得政府青睞。
經過十多年的刻苦發展,國產數據庫在技術研發方面取得了長足進步,產品日趨成熟。與國外數據庫軟件相比,國產數據庫企業借助安全、本土化優勢已在政府和行業領域擊敗國外競爭對手。作為國產數據庫代表,南大通用以新型數據庫研發作為其戰略核心,成為第一家支持列式存儲和MPP架構的國產數據庫廠商。其GBASE系列數據庫已經成功應用到電信、金融、政務等多個行業和領域。在新型數據庫領域已經具備與世界主流廠商在大數據分析類應用中直接競爭的能力,躍升成為國內新型數據庫領域的前三強廠商。
大數據給國產數據庫廠商帶來了“天時、地利、人和”三者同時齊備的三十年不遇的戰略機遇期。國內數據庫廠商應當充分認識到未來三年,將是決定國產數據庫在大數據領域成敗的關鍵時期。如果國內企業能抓住這一機遇,在技術、商業模式上主動突破,形成自己的優勢,在某些行業率先開辟出應用示范案例,那么在大數據時代,國產數據庫廠商就能有效應對國際大廠商的強勢壓力和競爭,在市場上取得突破性的發展。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25