
阿里巴巴如何玩轉大數據
我們將邁入大數據的一個新時代,敏捷、準確、低成本的數據分析和預測將成為現實。20日,阿里云發布大數據平臺數加,集合了計算引擎、開發套件、可視化工具和行業解決方案,這是全球首個囊括前、中、后臺的大數據一站式開發平臺,可讓數據分析和預測成本降至原有的10%左右。
這次阿里云發布的大數據開發平臺,囊括了阿里巴巴十余年來的大數據技術,這些技術正在阿里系的各個商業場景中發揮作用,例如淘寶首頁給你推薦什么樣的商品、你的芝麻信用分是多少、誰可以獲得更大的花唄額度,或者誰可以直接獲得貸款。
“過去6年來,阿里巴巴巨大的戰略投資就是放在云計算和大數據服務上。我們相信人類已經從IT時代在步入DT(Data Techonology)時代?!瘪R云在2015年致投資者公開信中表示,“我們必須在數據技術的投入和發展上不惜一切的投入發展,我們正在努力讓數據和計算能力成為普惠經濟的基礎?!?
馬云的DT技術正在變現,集成了人工智能、機器學習、智能語音等前沿技術的阿里云大數據平臺數加,讓沒有足夠技術實力的公司,也能實現從數據中提煉“石油”。權威研究機構IDC數據顯示,2014年中國企業投入了約14億美元購買商業分析軟件和服務,這個數字在未來5年內將呈幾何式增長。
“未來3年,大數據市場規模將達到1萬億元?!卑⒗镌瓶偛煤鷷悦髟诎l布會上表示,基于阿里云大數據平臺數加,將有千余家合作伙伴、萬名首席數據官和5萬數據科學家誕生,把中國大數據市場規模拓展至萬億規模。
“大數據”一詞近年來在中國十分火熱,但真正的數據技術和工具平臺一直缺位?!爸袊臄祿夹g起步比硅谷晚,但我們看到互聯網巨頭們正在大量投入研發力量,來縮短差距?!盇lliance Development Group分析師David Sullivan表示,以阿里巴巴為典型的中國互聯網公司正在自己的商業場景中大規模使用數據技術,技術上與硅谷幾乎沒有差距。
在發布會上,阿里云提及去年年底剛剛刷新的一項世界紀錄。在由數據庫之父Jim Gray創辦的排序基準評估競賽Sort Benchmark中,阿里云把100TB數據的排序時間縮短到了377秒,打破了此前由雅虎、微軟、斯坦福大學等公司與機構保持的紀錄。
從成本上來說,阿里云的大數據平臺也把數據技術的使用成本拉到一個新的時代?!皵祿治龊皖A測的成本將降至原有的10%,數據技術將變成普惠的技術能力,企業可以跨過技術和資金的障礙,真正從數據中掘金?!卑⒗镌拼髷祿聵I部資深總監徐常亮表示。
驟降的數據成本可能讓IBM一類的公司倍感壓力,因為這讓他們提供的傳統BI軟件顯得價格昂貴。此前,企業的數據挖掘依賴購買BI類軟件,這類軟件不但購買和維護費用高昂,還不能實現在線實時數據分析。
“實時數據分析和預測才是數據技術的魅力所在?!毙斐A帘硎?,阿里云大數據平臺數加將為各類機構和企業帶來全新的決策依據,“企業們將實時知曉自己面對的挑戰,并基于數據預測來判斷下一步該往哪走?!?
在不久前,阿里云公布了一項與浙江省交通廳的合作,浙江省交通廳利用阿里云的大數據平臺來預測高速公路未來5到60分鐘的車速情況,預測準確率穩定在91%以上?;诟咚佘囁兕A測,以便交通部門更好的進行交通引導,公眾也可以做出更優的路線選擇。
“一開始大家關心的問題是數據運算的速度有多快,然后關心預測的速度有多快?!毙斐A帘硎?,“現在,大家該關心的問題是我是否比競爭對手更快得到數據結果,是否比競爭對手擁有更準確的預測。我們就是想為大家提供這樣更快、更準確的大數據平臺?!?
浙江交通運輸廳:用大數據預測未來哪堵車
浙江省交通運輸廳正在開展一項新的試點:將高速歷史數據、實時數據與路網狀況結合,基于阿里云大數據計算能力,預測出未來1小時內的路況。結果顯示,預測準確率穩定在91%以上。
浙江省交通信息中心主任韓海航表示,通過對未來路況的預測,交通部門可以更好的進行交通引導,用戶也可以做出更優的路線選擇。
阿里云大數據平臺數加為項目提供了分析支持,并有多位資深數據科學家參與了聯合研發。來自阿里云的閔萬里博士介紹,對于浙江省內近1300公里的高速路段,數加強大計算能力可以在20分鐘完成歷史數據分析,10秒鐘完成實時數據分析。
馬拉松:用大數據守護選手心臟
1月2日,2016廈門國際馬拉松賽在鷺島開賽,獲得了諸多運動愛好者的追捧。在此次廈門馬拉松比賽中,一款叫做“阿甘跑步”的運動社交APP聯手深圳一家心電醫療設備供應商,借助阿里云大數據平臺面向跑馬愛好者推出皮膚級運動心律監測解決方案"安心跑"。希望通過大數據的方法來尋找極限運動中可能存在的風險并及時解決。
這是一個像“創可貼”大小的智能設備,它實時掃描并且收集人體生命數據,通過及時回傳、實時處理,機器判讀等做出健康風險預警。
“結合3D路徑實時上傳心電數據,云平臺快速分析后,又能實時的傳給賽事安全保障小組,這是運動賽事保障的一個創新點,不僅如此,“安心跑”還將基于心律在運動康復方面進行探索,如睡眠深度監測、呼吸暫停癥監測、焦慮分析?!?阿甘跑步CEO尚文表示。
對馬拉松業余選手來說,可在日常的訓練中提前進行監測,對自己的心臟狀況有一個初步的評估,看是否適合參加馬拉松。
在比賽進行中,通過聯合緊急救援機構和智能心電設備數據打通,可以對跑步人員的心跳狀況通過現場設施實時回傳,可以及時識別,重點關注,在心臟出現問題時可以及時搶救。
阿里音樂:用大數據發現下一位巨星
阿里音樂正在開展一項新的大數據嘗試:將阿里音樂平臺上的行為數據與微博、優酷、娛樂頭條等互動數據結合,基于阿里云大數據計算能力,預測哪些音樂人將成為音樂流行界的下一位巨星。
“掌握了這些數據,唱片公司可以實時地關注潛力音樂人成長,并以較低的薪酬與其簽約,大肆炒作為明日之星”,蝦米音樂創始人王皓如是說。
互聯網造就了越來越多的獨立音樂人,他們的作品在各大互聯網平臺上被收聽、收藏、評論、播放、報道等。數據科學們(數據分析師)家借助阿里云提供的強大計算能力,通過挖掘阿里音樂平臺上的粉絲數增長如何,微博上最近一段時間談論這個音樂人的次數, 優酷上相關視頻被播放了多少次,新浪娛樂等頭條新聞報道的頻率,流行元素匹配率如何等原始及衍生的15個特征維度,通過機器學習自動建立量化評估模型,預測音樂人的流行程度在未來一段時間是否會爆發。
除了音樂人黑馬發現之外,阿里音樂的音樂人產業鏈服務還包括:音樂人粉絲價值分析、收聽音樂風格分析及拼盤演出推薦等音樂人決策分析服務。
大麥網:一鍵接入實現“千人千面”
用戶登入大麥網APP之后,在首頁的“猜你喜歡”欄目,或者單品頁的“喜歡此項目的還喜歡”欄目,都能看到“千人千面”的個性化推薦內容。大麥團隊與阿里云團隊共同合作,通過API接口的方式,對每一個用戶的購買、瀏覽、收藏等數據進行分析,實時為用戶推薦基于他們喜好和地理位置的票務信息。
“2015年4月份上線之后,推薦轉化率已提高到 4%左右,單日最高轉化峰值曾到達 10%以上, 效果超過我們的預期?!?大麥網數據總監王威表示,看中“推薦背后的智能”,能夠在節省人力成本投入的同時,獲得推薦轉化率的極大提升。
從成本上看,如果大麥網自主研發推薦系統,需要投入至少5位工程師,進行6個月的項目開發,人力成本約900人天。在大麥團隊和阿里云團隊的共同努力下,結合大麥團隊的行業經驗與阿里云的技術優勢,把人力成本降低到了30人天,并且擁有高轉化率的保障。
弘泰水利:用大數據治水
不久前,弘泰水利同阿里云達成合作,雙方計劃通過大數據技術,將水利基礎設施(水庫、河道、泵閘等)的管理從離線變為在線,實現大數據治水。
弘泰水利總工余麗華說,水利數據聯網后,可以做水庫管理的平臺服務,也可以做洪水風險的分析,以及城市內澇的預警分析,并且可以為公眾提供防汛減災的社會化服務。
弘泰水利為寧波市研發的城市動態洪水風險圖,可以看到全市各個水庫的運行情況;臺風來臨,城市各個區域的降雨量直觀呈現,包括市內積水深度、淹沒時間等。
系統將寧波主城區劃分為8萬個網格,僅需要2分鐘就可以計算出寧波主城區任意一100*100米地區的洪水淹沒情況。在去年“燦鴻”臺風期間,這一系統得到成功應用,洪水計算結果與實際對比誤差在10%以下。
墨跡天氣:用大數據為4億用戶提供個性化天氣服務
不久前,墨跡天氣同阿里云展開合作,進一步強化其大數據優勢。墨跡天氣通過采用阿里云的大數據平臺數加,對4億用戶產生的日志進行分析,基于此提供更加個性化的天氣服務。
4億用戶是什么概念?也就是說,13.5億中國人,每四個人中就有一個下載過墨跡天氣,超過了美國人口總數。這些用戶每天有超過 5 億次的天氣查詢需求,這一數字甚至要大于 Twitter 每天發帖量。
“用戶每天產生的日志量大約在400GB。我們需要將這些海量的數據導入云端,然后分天、分小時的展開數據分析作業,分析結果再導入數據庫和報表系統,最終展示在運營人員面前?!蹦E天氣運維部經理章漢龍介紹,整個過程中數據量龐大,且計算復雜,這對云平臺的大數據能力、生態完整性和開放性提出了很高的要求。
此前,墨跡天氣的這一流程是在國外某云計算平臺上完成的,需要分別使用云存儲、大數據分析等服務,數據分析完成后再同步到本地數據庫中與報表系統對接。cda數據分析師協會培訓出來的數據分析師得到國內企業高度的認可。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25