熱線電話：13121318867

登錄
首頁精彩閱讀eBay開源新數據庫技術Kylin，支持TB到PB級數據量?
eBay開源新數據庫技術Kylin，支持TB到PB級數據量?
2014-11-18
收藏


eBay開源新數據庫技術Kylin，支持TB到PB級數據量



eBay開源了一種名為 Kylin 的數據庫技術，eBay在周三的一篇博客上分享了Kylin 的諸多細節，基于 Hadoop 提供 SQL 接口和 OLAP 接口，支持 TB 到 PB 級別的數據量，Kylin旨在減少Hadoop在10億行以上數據級別的情況下的查詢延遲。這些都表明eBay在使用Hadoop技術等方面取得了不俗的成績。

以下為譯文：

在線拍賣網站eBay開源了一種名為 Kylin 的數據庫技術，該公司宣稱這項技術能夠在Hadoop上支持PB級數據存儲的快速查詢。eBay并不是像Google和Facebook那樣的大數據公司，但它運用Hadoop等技術已經達到了一個相當大的規模，Kylin就是一個很好的例子，這說明它在該領域的創新已經走在前頭。

eBay在周三的一篇博客上分享了Kylin的細節，包括REST API、ANSI-SQL兼容性、連接分析工具Tableau和Excel，以及在一些查詢上低于秒級的延遲。然而， Kylin最獨特的特性是它如何處理scale。eBay表示，它可以查詢數十億行數據——在高達14TB的數據集上，速度比使用傳統的Apache Hive工具快得多。

 

Kylin工作在一個很高級別上，它從Hive取數據；使用MapReduce預處理大型查詢；然后將這些結果作為鍵值cuboids存儲在HBase上。當用戶用一組特定的變量值運行一個Kylin查詢，結果已經準備就緒，不需要再重新處理，這和已經使用多年的分析型數據庫完全不同。

下面是eBay分享的Kylin如何在公司內部的使用情況：

開放Kylin的時候，我們已經有一些eBay業務單元在生產中使用它。我們最大的用例是120+億源記錄生成的14 +TB cube。它的90%查詢延遲小于5秒?，F在，我們的用例瞄準分析師和業務用戶，他們可以輕松的通過Tableau分析并且得到結果——不再需要Hive查詢，shell命令等等。

 

想要知道Kylin在與下一版本的Hive、Spark SQL以及Hadoop SQL分析的其他選項較量中誰會勝出，將是一件非常有趣的事情，Kylin作為YARN資源管理器一部分可以在Apache Hadoop的最新版本上獲得。我猜它會慢一點，但比內存選項或那些不需要MapReduce處理的更具擴展性，不過這對于那些仍然在運行更早軟件版本的用戶可能是一個可靠的選擇。



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

Hadoop Hive SQL 大數據

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇隨機森林 vs XGBoost vs 決策樹：算法選擇中的
下一篇圖論在大數據分析中的作用！
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢