
作者 | CDA數據分析師
大數據革命引發了數據中心的爆炸式增長,這些中心正在以越來越高的速率消耗能源。本文回顧了兩種提高數據中心效率的標準方法,并認為第三種方法-機器學習-是最佳解決方案。
天網,VIKI和HAL 9000就是一些具有機器學習功能的AI的例子。創建它們的目的是解決對人類而言過于復雜的問題,并通過神經網絡對其進行控制,以提高效率,安全性和成功率。當然,電影需要對立面,因此這些AI奇跡給了不利的黑暗面——但是這種復雜的機器學習是真實的并且已經成功實現。
自2000年代以來,數據中心已經激增。一個大型電子商務服務數據中心僅用幾個19英寸機架來部署所需的服務器,存儲器,以及網絡設備。如今,超大型數據中心成千上萬的硬件設備部署在數千個機架上。它們源自本地辦公室的小型服務器,現已發展成為超大型設施,以維護我們的物聯網和所有相關數據。美國人使用的數據,流程,連接性和存儲量需要大量電力,這意味著數據中心是主要的能源消耗者。占全國年用電量2%的行業和政府專家正致力于提高效率,因為預計數據中心的需求將會增加。
目前,解決此問題的方案主要有兩個方面:
但是,它并沒有確定解決此困難的解決方案。而真正的解決方案在于實現機器學習系統。通過它們的過程,可以減少數據中心的能耗,并使其效率比以前更高。如今,部署依賴于機器學習的工具的數據中心運營商正在從效率和可靠性方面獲得最初的收益,但他們才剛剛開始摸索機器學習將對數據中心管理產生的全部影響。
機器學習是人工智能的子集,有望優化未來數據中心運營的各個方面,包括計劃和設計,管理IT工作負載,確保正常運行時間以及控制成本。IDC預測,到2022年,由于具有嵌入式AI功能,數據中心中50%的IT資產將能夠自主運行。
容納大量服務器場的大型,不起眼的容納器慢慢地在美國興起。這是全球性現象,因為數據和信息都以數字方式存儲,因此需要空間。由于節省了大量資金,我們對人類的模式和趨勢有了更復雜的了解。不幸的是,將數據存儲在服務器中并不像一個庫。他們需要恒定的功率來產生熱量,并且熱量需要被冷卻,從而消耗更多的能量。
2014年,僅美國數據中心就使用了約700億度電,從這個角度來看,1 kWh將使智能手機充電一年。需要能源以保持數據中心24/7全天候運行,使用大量的冷卻系統進行冷卻以及在緊急情況下維持冗余電源。也就是說每年維護在大約七十億美元,能源成本影響著每一個人。消費者,數據庫提供者和環境都感受到了如此大量能源消耗的后果,但我們的利用率沒有絲毫放緩的跡象。因此,利用和能源效率是適應的主要目標。
圖1:數據中心的用電量(十億千瓦時/年)
美國至少有300萬個數據中心,足以容納該國每100個人中的一個。數據中心的增長非常復雜,大多數服務器和相關設備都是在2000年至2010年期間購買的。但是,隨著服務器空間使用效率的提高和對大型數據中心的依賴性增加,統計數據表明存儲量將適應而不是增加。
有些人可能認為辦公服務器比新的超大規模數據中心更有效率?;蛟谄仆羷庸げ⒉槐匾靥蕴鼈冎?,應使用較舊的就地數據中心。這些想法有邏輯上的支持,獨立服務器由其所有者處理,并且回收而不是更換,但是它們實際上并不起作用?,F場服務器需要數據中心做的所有事情,因此公司在自己的服務器場上花費更多的錢,而不是使用遠程中心所需的確切空間。而且,較舊的數據中心在構建時就沒有考慮能源效率,因此,即使是看似新的數據中心也可能已過時。
圖2:數據中心總用電量(十億千瓦時/年)
美國能源部鼓勵大規模實施能源效率。他們的“更好的建筑”計劃邀請企業和數據中心減少能耗或使用可再生能源。諸如Google之類的大型科技公司率先采用了這種方式,通過機器學習系統來減少其數據中心的能耗。
機器學習是AI的過程,能夠從場景中學習并做出反應,而不是通過編程的選項做出響應。機器學習系統會獲得歷史數據,參數(目標),并通過模仿我們自己大腦功能的神經網絡進行操作。它們非常適合數據中心,這些數據中心對于以前的系統和專業人員來說已經變得復雜起來,無法有效地進行管理。數據中心每天都會發生近十億次事件,只有通過直觀的系統才能處理這些事件,以實現最大的可操作性。例如:
Google通過輸入DeepMind系統,希望將其能降低和保持40%的能源效率,這是一個通用系統,他們希望廣泛發布以減少能源使用。Google數據中心團隊針對某些操作場景對DeepMind進行了培訓,創建了自適應參數,輸入了歷史數據(例如溫度和泵速),并將目標定位為未來的電源使用效率(PUE)。PUE實際上是建筑能耗與IT能耗之比;用于衡量能源效率。
當部署在Google的數據中心時,它可以通過分析難以理解的數據集并建議采取的措施來成功地減少能耗。這聽起來與最初提到的AI所承擔的任務相差不遠。幸運的是,科幻小說與科學之間有清晰的界線。諸如DeepMind之類的系統是一項優勢,能夠以人類無法掌握的規模降低能耗。隨著時間的流逝,更多的系統將實施機器學習,以便它們可以最大限度地提高可操作性,從而為人們節省金錢,更重要的是,為環境節省了資金。
Uptime Institute研究副總裁Rhonda Ascierto說:“這是數據中心管理的未來,但我們仍處于早期階段?!盜DC Cloud to Edge數據中心趨勢服務研究總監Jennifer Cooke表示,隨著越來越多的公司采用包含云,托管設施和內部數據中心的混合環境,并且將越來越多地包括邊緣站點,創建更智能的數據中心變得越來越重要。
何為機器學習?簡單來說,機器學習是從例子和經驗(即數據集)學習而不是依賴于硬編碼和預定義規則的算法。換句話說,不是開發者告訴程序如何區分蘋果和橙子,算法被數據“訓練”并且自己學習如何區分蘋果和橙子。以下是當今數據中心管理中機器學習的五個最大用例:
Ascierto說,當今的組織正在使用機器學習來提高能源效率,主要是通過監視溫度和調整冷卻系統來實現的。
例如,谷歌在今年早些時候曾發布,它正在使用AI通過分析21個變量來自動管理和優化其數據中心的冷卻,例如外部氣溫,數據中心的功率負載以及后方的氣壓。發出熱氣的服務器。該公司表示,Google的機器學習算法可實時自動連續不斷地調整冷卻裝置的設置,從而使冷卻每年的能源使用量減少30%。
此外,它可以就設計或配置數據中心的最有效方法(包括IT設備或工作負載的最佳物理位置)提出建議。
機器學習可以幫助IT組織預測需求,因此它們不會耗盡電力,冷卻,IT資源和空間。例如,如果一家公司正在整合數據中心并將應用程序和數據遷移到中央數據中心,則算法可以幫助其確定此舉如何影響該設施的容量,Ascierto說。
DCIM軟件供應商Nlyte Software的首席戰略官Enzo Greco說,容量規劃是組織建立新數據中心的一項重要服務,該公司最近推出了數據中心管理即服(DMaaS)產品,并與IBM Watson合作對其進行了集成。將機器學習功能納入其產品。
“您需要使數據中心盡可能準確。您需要多少臺服務器?您需要多少冷卻?您只需要與服務器數量一樣多的散熱?!彼f?!按送?,您需要多少電量?這取決于散熱和服務器容量?!?/span>
在所有用例中,使用機器學習進行風險分析是最關鍵的,因為它可以識別異常并幫助防止停機?!皺C器可以檢測出異常,否則將無法發現,” Ascierto說。
例如,施耐德電氣的DMaaS可以分析來自關鍵數據中心設備(例如電源管理和冷卻系統)的性能數據,并預測何時可能出現故障。施耐德電氣數據中心解決方案架構師副總裁Joe Reele說,當算法檢測到異?,F象時,系統會警告客戶,以便他們能夠在設備出現故障之前進行故障排除。
將來,Ascierto看到托管服務提供商使用機器學習來更好地了解他們的客戶并預測他們的行為-從購買或添加新服務到續訂合同甚至支付賬單的可能性。她說,這是客戶關系管理的擴展,可以包括通過聊天框自動進行客戶互動。
Maya HTT已經分析了客戶情緒。Duquette說,它目前沒有數據中心客戶使用它,但是通過自然語言處理,該公司的軟件可以分析電子郵件并記錄支持電話以預測未來的客戶行為。
Ascierto說,這將數據中心的運營和性能數據與財務數據(甚至包括適用稅項在內)混合在一起,以了解購買和維護IT設備的成本。她說:“它模擬了一件設備的總擁有成本和整個生命周期,例如一種冷卻系統與另一種冷卻系統相比?!?/span>
例如,Salesforce在2016年收購了一家名為Coolan的初創公司,該公司使用機器學習來分析IT設備的總體擁有成本,直至單個服務器組件。問題是越來越多的公司將使用機器學習進行預算影響分析的時間。一些私人公司可能會自己做,但是這很復雜,因為它要求以計算機模型可以提取的格式容易獲得財務數據。
出于安全原因,DMaaS客戶不太可能希望與第三方共享其財務數據。她說:“對于DMaaS服務,在早期,讓客戶共享他們的財務數據是一個比較棘手的提議?!?/span>
這個領域還不成熟,但發展速度很快。人工智能系統正式交付使用還將需要一定的時間,就像數據中心招募的新的工作人員一樣,不過類似的機器學習工具終將可以真正的幫助您運營數據中心。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25