
最新大數據產業現狀和主要子行業介紹
大數據從源到流到匯聚應用,包含數據入口、數據融合處理、數據應用三個主要過程。從前到后看,這三個過程分別對應于數據資產領域、數據融合與處理相關領域、數據應用相關領域。
1) 數據資產領域
“數據正在成為一種(戰略)資產”已經是行業的共識。大數據很大程度上是隨著社會信息化程度提高而在近期產生的,即是以前沒有或無法獲取且正在不斷生成的“新(fresh)”數據。不同的公司把握著各個數據入口,而把握數據資產的企業也必然成為大數據的首批和直接受益者。從公司業務模式上,數據資產公司可以區分為純數據資產公司和兼數據資產公司;從數據類型上,數據可以區分為交易數據(含詢價等)和交互數據。
純數據資產公司指其產品和業務即為數據本身,代表企業如友盟和個信互動等。友盟(Umeng)將核心代碼植入各種移動應用,向移動應用創業者提供應用統計分析、用戶反饋等服務,目前,國內主流開發者大多是友盟的用戶,超過18萬的移動應用從友盟服務中獲益。個信互動的個推平臺,面向公眾提供專業的手機推送解決方案,并向開發者提供推送的BI數據,目前的接入用戶已經超過6.8億。
不難看出,該類公司有幾個特征,
一是處于數據流中某個基礎性的控制節點;
二是在控制節點后聚集了一整類的兼數據資產型公司;
三是標的數量很少,一個具體領域(如手機的信息推送或者應用統計服務)只能容納下1-2家企業;四是該類企業處于底層,較少為非業界人士所知。
兼數據資產公司相對純數據資產公司顯然更多,下表按照交易數據與交互數據對其進行分類整理。
表格中所列示的都是規模較大、有所成績的明星企業,因為如果數據沒有相當深度和廣度的累積,價值將非常低。但是,我們看到不斷有新的企業成長起來,百花齊放百家爭鳴,搶奪已有的入口或者開辟全新的入口。
2) 數據融合與處理相關領域
在數據融合與處理相關的領域,主要解決包含兩個方面的問題:一是數據標準化與有效性整理;二是面向過程(具體目的)的數據處理與粗提取。
典型的案例如征信數據庫,商業銀行與各信貸主體之間每天都在發生著海量交易,交易一旦發生則記錄進入各商業銀行數據庫(錄入人員通過人機交互過程完成數據的標準化和預處理),每天晚上各商業銀行后臺對數據進行整理和加密,次日將信貸主體與信用數據加密通過專用接口將數據包提交到征信數據中心,然后征信中心將各數據包加成導入到征信數據總庫進行更新,完成數據標準化和有效性整理并形成更新后的數據狀態。而面向過程的數據處理與粗提取,比如對某信貸主體的征信數據進行查詢后,可通過插件進行破產風險(企業)或信用評分(個人)的簡單核算,不同金融機構可設置不同的標準,根據自身風險政策完成初步的可否授信、授信額度大小的批量化評估。
較成熟的類似機構包括彭博、萬得、同花順等,目前均局限于金融行業,但每個行業都有不同的數據整合入庫的需求,而數據標準的制定及數據匯聚的執行是其難點所在。另外,在大數據的融合與處理相關領域,兩個繞不開的點為基礎軟件(數據庫軟件)和云計算。
3) 數據應用相關領域
如上文所述,掌握數據資產的企業群是大數據的首批和直接受益者,因為他們會自然、方便的對大數據進行把玩、加工、消化、利用。而隨著應用價值的逐步體現及大數據產業的發展,應用將必然擴張到生產生活的方方面面,廣泛影響各行各業。
麥肯錫針對美國各個行業應用大數據的潛在價值提升做了一個評估,從其中我們可以看到,大數據的應用將使得金融保險、信息技術、公共管理、貿易物流等領域獲得極大的價值提升。
首先我們按照從硬件-基礎軟件-應用軟件-信息服務和數據生成-存儲-處理-應用兩條線各4個維度來劃分大數據的產業結構,涉及11大類主要的產品和服務:采集設備、存儲設備、服務器、數據庫軟件、采集監測軟件、智能搜索與分析軟件、系統集成、IT基礎設施服務、咨詢實施服務、信息安全以及云計算。
以上11種主要產品和服務都是大數據的重要構成,缺一不可,但其中基礎軟件(數據庫軟件和分布式文件系統)、應用軟件是大數據產業價值轉化變現的最關鍵部分,云計算對大數據的廣泛應用有著舉足輕重的意義,其他7種在某種意義上則是在原有基礎上持續更新并與大數據發展配套的過程。
在軟硬件和信息服務領域的垂直劃分中,我們認為商業智能帶動的應用軟件、云計算和信息安全是國內大數據發展的三家馬車,也是更可能有所作為的地方。
1) 硬件與基礎軟件
大數據爆炸增長帶動硬件和基礎軟件發展。
存儲和服務基礎設施用于存儲產生的數據,是數據周期的第一站。隨著“新摩爾定律”逐步得到驗證,預計大數據將呈現越來越快的增速,同時大數據中非結構化數據占比也將逐步提高,這直接推動著存儲和服務器行業的大發展。如何更快、更好、更準確地把數據分門別類、按需存儲,提高存儲性能和計算能力,是存儲器和服務器提供商面臨的新問題?;A軟件提供商主要是提供操作系統、數據庫軟件等,對已經存儲好的數據資源進行高效管理,是存儲器、服務器的下游環節。存儲器、服務器等硬件設備的發展也將直接帶動基礎軟件的升級。
國際巨頭壟斷上述領域,寡頭格局已經形成。
EMC、IBM、HP、Sumsung、Oracle等國際巨頭在硬件與基礎軟件領域精耕細作多年,市場競爭格局基本穩定,寡頭競爭態勢明顯。因為其基礎軟件的優勢,又逐步向更下游的應用軟件等領域滲透,不斷完善自身產品線,提升客戶粘性。領先的技術優勢、豐富的客戶資源、強大的并購能力等構建了國際巨頭的護城河,使得國內企業短期內很難超越。
2) 商業智能應用軟件
商業智能的體系和意義
從數據的最終利用深度來區分,商業智能劃分為數據報表、數據分析、數據挖掘三個層次。其中,報表系統只是簡單地進行數據管理,描述企業已經發生的事件,比如Excel、水晶報表、Reporting Service等報表系統;數據分析師對數據進行優化分析,解析造成企業
目前狀況的深層次原因,比如OLAP技術;數據挖掘則是對數據進行分析預測,發現知識、預測未來。商業智能的最終目的,是為了產生更好的商業決策。
商業智能的實現過程是通過收集來自企業內部和外部各種數據源的不同數據,提取有用信息,經過數據清洗、轉換、重構進入數據倉庫或數據集市,然后通過合適的查詢和分析工具、數據挖掘工具、聯機分析處理工具對數據進行加工處理,最終轉化為知識。從商業智能系統建立的技術角度看,構建一個完整的商業智能系統涉及到的核心技術主要有數據倉庫(DW)技術、聯機分析處理(OLAP)技術、前端分析展示技術和數據挖掘(DM)技術等組成。
國內現狀
國內供應商專注于報表軟件、應用軟件和解決方案等領域。國內BI廠商的共同特點是,產品線不全,廠商實力相對較弱,基本可以分為三類:第一類是從報表工具、展示工具軟件等延伸而來的廠商,這類廠商占絕大多數,如潤乾、尚南科技等;第二類是從ERP等管理軟件延伸而來,如用友、浪潮、金蝶等,專注于戰線工具和分析模型方面,并開始向應用軟件和行業解決方案轉型;第三類是專業BI廠商,如菲奈特融通、東方國信等,專注于BI應用軟件和行業解決方案。國內廠商在數據倉庫、數據集市、BI 工具平臺軟件等方面,缺乏有競爭力的產品。
3) 云計算
云計算的三種服務交付模式:IaaS(基礎設施即服務)、PaaS(平臺即服務)和SaaS(軟件即服務)。
IaaS
指的是以服務形式提供服務器、存儲和網絡硬件。這類基礎架構一般是利用網格計算(GridComputing)架構建立虛擬化的環境,因此虛擬化、集群和動態配置軟件也被涵蓋在IssS中,這方面代表有亞馬遜的彈性云服務,ServePath下的GoGrid等;
PaaS
指的是以服務形式提供給開發人員應用城市需開發及部署平臺,讓他們可利用此平臺來開發、部署和管理SaaS應用程序;這種平臺一般包含數據庫、中間件及開發工具,所有都以服務形式通過互聯網提供;PaaS 也是SaaS 模式的一種應用,這一層面的代表有Google App、Force.com、MOSSO等;
SaaS
指的是通過瀏覽器,以服務形式提供給用戶應用程序;SaaS是一種軟件布局模型,其應用專為網絡交付而設計,便于用戶通過互聯網托管、部署及介入;SaaS應用軟件的價格通常為“全包”費用,囊括了通常的應用軟件許可證費、軟件維護費以及技術支持費,將其統一為每個用戶的閱讀租用費;SaaS可以通過瀏覽器把應用程序作為服務提供給成千上萬的用戶;這一層面的代表有Salesforce.com、google map、office live等;
云計算廠商則可以細分為平臺提供商、系統集成商和服務提供商。
平臺提供商
云計算需要能夠實現虛擬化、自動負載平衡、隨需應變的軟硬件平臺,這部分的提供商主要是傳統的軟硬件生產商,如Vmware、Oracle、Sun、IBM、Cisco等;國內的相關公司包括浪潮信息、華勝天成、華為、中興、方正科技等;
系統集成商
幫助用戶搭建云計算的軟硬件平臺,尤其是企業私有云:代表廠商包括IBM、HP、Google、AT&T等;國內公司包括華勝天成、浪潮軟件、東軟集團等;
服務提供商
包括為企業和個人用戶提供計算和存儲資源的IaaS公司、為應用開發者提供開發平臺的PaaS公司、SaaS應用服務提供商;代表廠商包括Amazon、Rackspace、GoGrid、Force.com、Google、Salesforce等;國內公司包括鵬博士、網宿科技、神州泰岳、用友、金蝶、焦點科技、生意寶等。
4) 信息安全
信息安全越發重要,迎來發展契機。
信息安全產品覆蓋硬件、軟件及服務;細分領域眾多,競爭激烈且龍頭各異。
安全硬件主要包括防火墻/VPN、入侵檢測/防御系統(IDS/IPS)、統一威脅管理(UTM);安全軟件主要包括內容安全與威脅管理、身份管理、訪問控制等;安全服務主要包括安全咨詢、等級評測、風險評估、安全審計、運維管理、安全培訓等方面。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25