
大數據時代:盤點各大廠商大數據布局
新興的大數據企業如雨后春筍般涌現。各大廠商迅速崛起,以"大數據即服務"方案力爭在未來龐大的市場需求依靠自身的創新為客戶創造出獨特的價值。
IBM提供BigInsights、BigSheets和BigCloud
僅僅幾年前,IBM開始在其實驗室嘗試使用Hadoop,但是它在去年將相關產品和 服務納入到商業版,甲骨文和微軟在其之后才宣布各自也將積極接受該平臺。IBM在去年5月推出了InfoSphere BigInsights軟件。該軟件包包括Apache Hadoop發行版、面向MapReduce編程的Pig編程語言、針對IBM的DB2數據庫的連接件以及IBM BigSheets,后者是一種基于瀏覽器的、使用電子表格隱喻(spreadsheet-metaphor)的界面,用于探究和分析Hadoop里面的數據。
IBM隨后又在10月通過其智慧云企業(SmartCloud Enterprise)基礎架構,將BigInsights和BigSheets作為一項服務來提供。這項服務分基礎版和企業版;賣點就是客戶不必購買支持性硬件,也不需要IT專門知識就可以學習和試用大數據處理和分析功能。據IBM聲稱,客戶用不了30分鐘就能搭建起Hadoop集群,并將數據轉移到集群里面,數據處理費用是每個集群每小時60美分起。
Oracle:數據庫+大數據機
Oracle的大數據策清晰而直接。NoSQL數據庫和Big Data Appliance組合為客戶直接擁有處理非結構化海量數據的能力。甲骨文大數據機(Oracle Big Data Appliance)將甲骨文-Sun分布式計算平臺與Cloudera的Apache Hadoop發行版、Cloudera管理器管理控制臺、R分析軟件的開源發行版以及甲骨文NoSQL數據庫結合起來。甲骨文還包括連接件,因而讓數據能 夠在大數據機與甲骨文Exadata或傳統的甲骨文數據庫部署環境之間來回傳送。甲骨文為這套綜合的軟硬件"工程一體化系統"提供了一線支持;但是即使出 現棘手的Hadoop難題,甲骨文也可以利用Cloudera的專長,它還可以介紹客戶使用Cloudera的Hadoop培訓和咨詢服務。
大數據機通過全機架(full-rack)配置,每個機架配備864GB主內存、216個處理器核心、648TB原始磁盤存儲容量,以及節點之間每秒40千兆的InifiniBand內部連接。軟硬件總計售價將達到45萬美元,每年收取12%的軟硬件支持費。這個價格頗具競爭力,相當于每TB不到700美元。
微軟:面對開放的懸疑
微軟在去年推出了基于Azure云平臺的測試版Hadoop服務,今年它承諾會推出與Windows兼容的基于Hadoop的大數據解決方案(Big Data Solution),這是微軟SQL Server 2012版本的一部分。微軟宣布推出了兩個基于Hadoop的大數據處理的社區技術預覽版連接器組件,一個用于SQL Server,另一個用于SQL Server并行數據倉庫(PDW)。該連接器是一個部署在Linux環境中的命令行工具。
SQL Server Hadoop連接器在微軟大數據之路上最重要的一步。但由于Hadoop、Linux和Sqoop都是開源技術,這意味著微軟要對開源世界大規模地敞開胸懷,這一點值得用戶關注。另外,微軟還宣布將推出LINQ Pack、LINQ to HPC、Project"Daytona"以及Excel DataScope,這些產品都將專為研究人員和業務分析師打造,用以在Windows Azure上做大數據分析。
EMC:單一的數據分析平臺
Greenplum在大數據方面有43000萬美元營收,目前由EMC公司所有。EMC Greenplum統一分析平臺(UAP)是一款單一軟件平臺,數據團隊和分析團隊可以在該平臺上無縫地共享信息、協作分析,沒必要在不同的孤島上工作, 或者在不同的孤島之間轉移數據。正因為如此,UAP包括ECM Greenplum關系數據庫、EMC Greenplum HD Hadoop發行版和EMC Greenplum Chorus,而后者是一種協作式、類似社交網絡的界面,可供數據分析團隊處理,無論團隊成員是有博士頭銜的數據科學家、數據集成專家和商業智能分析員, 還是數據庫管理員和業務部門的用戶及管理人員。
EMC為大數據開發的硬件是模塊化的EMC數據計算設備(DCA),它能夠在一個設備里面運行并擴展Greenplum關系數據庫和 Greenplum HD節點。DCA提供了一個共享的指揮中心(Command Center)界面,讓管理員可以監控、管理和配置Greenplum數據庫和Hadoop系統性能及容量。UAP軟件將數據訪問、管理和工作流統一起 來,并與其他數據源和數據處理方法聯系起來;隨著Hadoop平臺日趨成熟,預計分析功能會急劇增加。
亞馬遜:深入了解用戶需求
早在2009年就推出了亞馬遜彈性MapReduce(Amazon Elastic MapReduce),對Hadoop的需求和應用可謂了若指掌,這包括了運行試點項目的新手,內部部署的預置型系統遇到需求過載的難題,或是利用彈性MapReduce來獲取額外容量的專業人士。
彈性MapReduce是一項能夠迅速擴展的Web服務,運行在亞馬遜彈性計算云(Amazon EC2)和亞馬遜簡單存儲服務(Amazon S3)上。面對數據密集型任務,比如互聯網索引、數據挖掘、日志文件分析、機器學習、金融分析、科學模擬和生物信息學研究,用戶需要多大容量,立即就能配置到多大容量。除數據處理外,用戶還可以使用Karmasphere Analyst的基于服務的版本,Karmasphere Analyst是一種可視化工作區,用于在亞馬遜彈性MapReduce上分析數據。Karmasphere提供了可視化工具,以便使用SQL及其他語言,針對在亞馬遜S3、亞馬遜彈性MapReduce作業流或本地文件系統上的結構化數據和非結構化數據,執行即席查詢和分析。用戶還可以提取結果文件, 以便在數據庫或者微軟Excel或Tableau等工具中使用。
SAP: HAHA內存計算技術加速計算
SAP基于內存計算的高性能分析應用軟件(SAP HANA)將構建一個公開的平臺,開放給不同領域、不同行業的合作伙伴,聯手合作伙伴共同運作,讓更多用戶通過HANA得到真正的收益。國內一家快消品企業完成9500萬條信息的數據分析在采用新的SAP內存計算分析技術后,響應時間僅需四秒鐘。目前,SAP已與包括英特爾、IBM、惠普、戴爾、富士通、思科等在內的多家伙伴達成合作共識。
Sybase:用SQL數據庫應對大數據
Sybase并沒有推出類似Oracle的NoSQL數據庫功能,但是據了解,他們在最新版本的數據庫中,已經將大數據提到了一個非常重要的位置。在Sybase ASE 15.7當中,新增的一個重要特性就是對大對象(LOB)的管理增強,包括LOB壓縮、行內LOB、復制機制以及LOB的讀取與運算方面都進行了特別的改進。LOB中包含了非結構化數據,因此Sybase ASE 15.7新增的這些功能都使得DBA在應對大數據時更加輕松。
另外在他們的分析數據庫Sybase IQ 15.4中,還添加了如MapReduce API、對預測模型語言的支持、集成的Hadoop以及擴展數據挖掘算法函數庫等功能。很明顯,這一系列新特性與大數據的關系密切,是新版本中最大的亮點。
Informatica:不拒絕任何格式
Informatica推出的HParser是一種針對Hadoop而優化的數據轉換環境。軟件支持靈活高效地處理Hadoop里面的任何文件格式,為Hadoop開發人員提供了即開即用的解析功能,以便處理復雜而 多樣的數據源,包括日志、文檔、二進制數據或層次式數據,以及眾多行業標準格式(如銀行業的NACHA、支付業的SWIFT、金融數據業的FIX和保險業 的ACORD)。正如數據庫內處理技術加快了各種分析方法,Informatica同樣將解析代碼添加到Hadoop里面,以便充分利用所有這些處理功 能,不久會添加其他的數據處理代碼。
Informatica希望能夠借助統一的環境和方法,全面滿足數據管理和數據集成方面的要求。這家公司的企業客戶超過 4300個,它估計10%以上的客戶正進入到大數據領域(大數據的容量超過100TB)。市場地位和技術創新使得Informatica成為值得關注的一家Hadoop專業廠商。
Cloudera:提供Hadoop的企業安全
Cloudera公司自2008年以來就一直致力于將開源Apache Hadoop打造成一款供企業使用的可靠平臺。這家公司有100多個客戶,不過鑒于Cloudera最近與IT業界老大的數據庫供應商甲骨文結為合作伙伴,今年其客戶數量有望大幅增加。
Cloudera為其Apache Hadoop軟件發行版增添了兩個重要部分:一個是用于控制和管理Hadoop部署環境的Cloudera管理器控制臺,另一個是企業級支持。 Cloudera管理器提供了基于向導的安裝和配置菜單,以便部署Hadoop.另外,它還提供了一些工具,幫助系統管理人員監控平臺的運行狀況、診斷問題、優化性能,以及在配置和安全方面作出所需的變更。
Cloudera支持服務分每天8小時每周五天或每天24小時每周七天這兩種,服務包括配置檢查、問題逐級上報和解決、與第三方系統集成以及知識庫、文章及其他技術資源。除了現有的這些服務外,還有培訓和咨詢服務。Cloudera 企業解決方案包括Hadoop軟件發行版、Cloudera管理器及支持,標價為每年每個節點4000美元(不包括硬件)。
Datameer將商業智能運用到大數據上
Datameer公司宣稱其Datameer分析解決方案(DAS)是一款面向Hadoop、針對企業用戶的商業智能(BI)平臺。但是DAS并不將Hadoop當作信息孤島:它可以通過JDBC、Hive、HTTP或其他標準,連接到任何數據源。它包含了一個由向導驅動的集成平臺,讓用戶可以安排調度負載,并且轉換來自任何這些數據源的龐大的結構化、半結構化或非結構化數據集。用戶可以通過類似電子表格的DAS界面,運用180多項分析功能中的任何一項功能。企業用戶可以獲得拖放式報告和儀表板功能。DAS可以在私有云或公共云上運行,而且有一套代表性狀態傳輸(REST)應用編程接口(API),用于數據導入和導出。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25