熱線電話:13121318867

登錄
首頁職業發展大數據平臺基準測試助力大數據產品選型
大數據平臺基準測試助力大數據產品選型
2015-10-23
收藏

大數據平臺基準測試助力大數據產品選型


進入2015年,大數據產品和服務采購進入爆發期,新的大數據技術解決了企業海量數據(歷史數據、非結構化數據)的存儲、分析和查詢等問題,逐步開始替代傳統的數據倉庫等產品。然而大數據領域新的技術和產品層出不窮,剛剛熟悉了Hadoop、Spark技術,又誕生了Flink框架,理解了NoSQL數據庫,出現了NewSQL數據庫。面對快速發展變化的大數據技術和產品,企業CIO面臨如何評估、如何選型、如何使用等問題,企業IT部門也苦惱于如何搭建企業級的大數據平臺以支撐企業未來業務的發展。

2014年6月,數據中心聯盟聯合20多家企業啟動了大數據平臺基準測試標準的制定,想幫助企業解決大數據技術和產品評估、選型、使用等難題,為企業IT部門找到適合企業業務場景的大數據產品和服務。經過半年的工作與討論,聯盟于今年年初發布了《大數據平臺基準測試》的技術要求和測試方法,技術要求定義了大數據平臺基準測試對象、測試的基本要素和指標,測試方法給出了從性能、可用性、運維安全三個維度評估大數據產品的具體測試流程。

今年5月聯盟組織國內一線廠商開展了大數據商業產品的第一輪評測,4家廠商的商用Hadoop軟件產品和1家商用Hadoop云服務參加本次評測。Hadoop軟件產品統一在中國信息通信研究院提供的16臺服務器進行測評,Hadoop云服務在企業自己提供的公有云環境中進行評測。本次測試主要測試企業提供的商用hadooop平臺,包括hdfs、yarn、mapreduce、hive、hbase和zookeeper等組件,測試主要分為性能測試、可用性測試和安全性測試,每家企業有7天的時間來完成測試。性能測試包括Hive Join、Hive Aggregation、NoSQL Write、NoSQL Read、NoSQL Scan、TeraSort、WordCount、PageRank、Kmeans、Na?ve Bayes等十個負載,覆蓋了Hive、HBase、MapReduce和HDFS等組件??捎眯詼y試包括NameNode主備節點、DataNode節點、HMaster節點、RegionServer節點失效及恢復等測試項。安全和運維測試包括存儲加密、身份認證、統一用戶管理和權限管理四項。測試嚴格按照《大數據平臺基準測試第二部分測試方法》來執行,審核流程包括測試前檢查、輸入檢查、測試過程檢查、測試結果檢查和留存文件等。

在本次可信云服務大會上,聯盟將首次發布國內第一批大數據產品評測結果,匯報測試過程和未來大數據基準測試的發展方向,參測廠商也將集中亮相大數據產品最佳實踐。從用戶角度出發制定的這一規范是否能解決CIO煩惱,測試結果是否能對企業的選型、部署和使用有一定參考,規范未來的演化是否能精確反應用戶的需求,需要我們拭目以待。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢