
大數據時代下,需要什么樣的冷存儲
智能互聯網時代,數據正在以幾何級的數量爆炸增長,如何存儲并管理這些海量數據,是很多企業面臨的一個難題。如果采用傳統通用型服務器存儲策略,這意味著要建設龐大的數據中心系統,導致存儲成本極速攀升。
對于那些云服務提供商而言,大量不斷增長的數據例如圖片等都屬于不經常訪問,但卻又無法刪除的,即使客戶很久不會訪問這些信息,但依然不能隨意刪除,并且不允許停機歸檔,也無法實現洪峰數據控制。對于這些不常訪問的“冷”數據,如果我們能把他們遷移到一個專為冷數據而設計的低成本存儲層中,將能大幅降低費用。
哪些數據需要冷存儲?
冷存儲主要用于那些備份、災難恢復、存檔、社交媒體等應用領域。這些數據都有一個共通的特性,較低的訪問頻率,并且需要最大限度的降低其存儲成本,同時要求隨時可訪問。例如用戶在社交媒體上存儲的大量圖片信息,以及法律電子取證要求已存檔的數據必須在特定的時間范圍內可用。因此,這就要求云服務提供商以及企業必須確保數據的完整性,以及及時的訪問權限。
備份對于企業而言至關重要,因為需要備份的數據通常是企業有效運營所需要的信息,如果這些信息無法在特定時間范圍回復,將嚴重影響企業業務。
存檔對于企業運營以及提高工作效率必不可少,通常,企業并不需要快速訪問已經存檔的數據。但檢索已經存檔的數據可能要花費大量的時間,并且隨著企業業務的增長,數據量持續增加,同時這些數據要存儲長達幾十年甚至更長的時間,這會給存儲帶來極大的壓力。
災難恢復,熱備用暫難恢復服務在云中提供了專業的備用基礎設施和數據,這意味著在發生災難時,可以立即切換到云中。通過冷存儲服務,可以消除企業在災難中數據保護的某些流程,降低成本和復雜性。同時,企業需要快速的重構數據文件,還原應用程序,以最快的速度恢復系統正常運行。
社交媒體,智能互聯網時代,大量的社交數據產生,用戶通常查看新發布的照片,而對于那些舊的數據,則鮮有人問之。對于照片、視頻等這些非結構化數據通常會占用大量存儲空間,并且增長速度遠遠超過其他類型的數據。如果將這些舊的數據遷移到冷存儲中,可以大幅降低運營成本。同時提供社交媒體服務的企業必須保護這些數據的隱私安全。
我們需要什么樣的冷存儲?
對于大部分創業公司而言,通常在公司創立初期,很難將業務細分的非常明確,大部分都會選用通用服務器來做存儲,但隨著業務的不斷擴張,就會考慮將很多計算型節點分離出來。對于那些重要的數據希望在運行的更快的SSD 或PCIE SSD上,而對那些歷史數據、日志則希望不要太占用現有服務器存儲資源。因此,業務需要進行分層。
如何進行分層?在要確保性能不能有大幅損失的同時降低存儲費用,特別是對于那些圖片存儲,對于一些云服務提供商而言,這一點尤其重要。因為根據其業務類型,就要求及時客戶很久沒有訪問這些數據,也不能隨意刪除。另外一點非常重要的則是,其業務沒有明顯的周期性,不像其他行業,如金融等,每天固定時間開市閉市,可以進行數據維護;也沒有周期性的數據洪峰,無法做出數據洪峰控制。
如何滿足上述需求?聯想的冷存儲產品不失為一個理想的選擇。
聯想4U60盤位、雙節點的冷存儲業務服務器SD600,每節點擁有2個2.5寸系統盤插槽,可以通過更換連接兩節點間EXPB槽位的DB卡,實現服務器在HA (High Availability)、Zoning以及 Single Node (JBOD)三種模式下的工作方式。
通過采用聯想SD600可以順利的幫助企業將計算分析業務與數據存儲業務分離,當存儲服務器的硬件資源主要用于數據存儲,數據塊為大塊數據時,相信SD600將是您最優的選擇。因為對并發進程較少的業務來說,每個進程的性能更依賴于CPU的主頻。不難看出,存儲業務對cores間的進程切換需求很低,對單core的主頻性能要求較高。那么經過優化過的Avago磁盤主控芯片,與高頻E3 CPU的搭配,將會更好的為您提供數據存儲業務。
可靈活選配的聯想冷存儲
聯想SD600在HA 模式下,當對數據的實時可用能力有較高要求時,可以通過增加一張HA DB card來實現兩個節點間的高可用。同時,因為需要用到SAS接口的雙通道,需要存儲池內的60塊盤都是SAS磁盤。當需要降低歸檔服務器、文件服務器、圖片服務器等溫冷數據服務器的成本時,可以選用Zoning和Single Node模式。Zoning模式即劃分給每個節點30塊磁盤做存儲池,將SD600變為4U2N服務器使用。Single Node模式可以有效降低互聯網公司的圖片存儲、日志歸檔、音視頻存儲業務的硬件建設成本。此外,該模式下一個節點將帶起60塊SATA硬盤。目前聯想推廣的最佳實踐案例包含6T 7.2k 企業級硬盤/8T 5.9k 企業級云盤。
此外,聯想SD600在可靠性和兼容性方面實現了最佳平衡,可以滿足RHEL、SUSE、windows、Ubuntu各種業務需求。其采用雙排9風扇交叉風向設計,具備了更好的散熱效果,滿足服務器45℃高溫下連續工作的要求,更適合苛刻的數據中心環境。與E5通用服務器相比,聯想SD600的TCO至少降低了10%,耗電量降低了8%。同時,僅從數據的存取角度來看,1顆高主頻能超線程到8 Thread的E3-1231 v3在相同內存與網絡環境的情況下,在客戶實際的使用中發現,相比2顆E5-2609 v3數據傳輸速度會提高10-20%。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25