
再識大數據
如果說在工業時代,生產原料是基于大自然饋贈的各種原子的產物,那么在信息時代,最基本的生產原料就是比特。而在比特之上,是承載各種信息價值的數據。對于信息時代的人們來說,沒有什么比獲得數據、擁有數據、分析數據和利用數據更重要的事情了。
近日,《CIOInsight/信息方略》記者就有關大數據與互聯網的關系、大數據對業態的影響、成功利用大數據的商業模式等話題,采訪了中國通信協會副理事長、國家信息化專家組咨詢委員會委員、光纖傳送網與寬帶信息網專家鄔賀銓先生。以下是經過編輯的對話。
被訪者簡介:鄔賀銓,光纖傳送網與寬帶信息網專家,曾任信息產業部電信科學技術研究院副院長兼總工程師?,F任國務院物聯網領導小組組長、電信科學技術研究院副院長兼總工程師。國內最早從事數字通信技術研究的骨干之一。
相輔相成的大數據與互聯網
CIOI:先來簡單聊聊大數據吧。這是個持續發熱的東西,特別是在今天這個信息消費的大背景刺激之下。那么在您看來,大數據有哪些具象的表現?
鄔賀銓:我們的城市都有攝像頭,一個小時產生很多的數據,幾十萬個攝像頭,數據達到數百個TB,是很正常的事情,所以這個數據總量是非常大的。除了政府及公共機構以外,企業也產生大數據。比如說波音飛機,每個飛機的每趟航程,來回都會產生TB量級的數據。波音公司現在擁有的技術,可以做到每幾毫秒都測一個數據,這樣每年的數據有多大,可以想象。
中國聯通對每個上網用戶都有記錄,一個月記錄一萬多條,對應的數據量是幾百個TB。除此之外,國家電網公司、醫療單位也都是數據產生的大戶。我們從醫院的病例可以看到,一個大腦的CT掃描圖,要讓它分辨率很高,微米的數據量產生是4.5TB的數據。同時按照醫療規定,一個患者的數據要保存50年。像301醫院,門診量一萬人;廣州中山大學醫院,2008年的數據是100個TB,到2013年是1000個TB。
還有大家都知道的淘寶網。去年光棍節每分鐘幾十個TB的數據。騰訊每天有5萬次計算等。所以說,互聯網上有很多大數據,每天都有更多的數據量產生。我這里還有一個國外的數據,美國的網站每分鐘有72小時時長的視頻監控上載,相當于全世界有6億人同時看不同的高清電影。到了2016年,互聯網可以在3分鐘之內,傳收300萬小時的視頻。這個數字相當于全世界生產34年不吃飯不睡覺才可以看完的電影。
現在全世界新產生的數據量每年增加14%,也就是說互聯網每兩年翻一番。2012年和2013年互聯網所產生的流量,等于人們有意識以來,一直到2011年所產生的數據量總和,兩年等于一萬年。2011年全世界互聯網總量1.8個GB。2020年,全世界的數據將達到40個GB。
CIOI:剛才您談了很多互聯網對大數據的影響。那么反過來,大數據的產生,又使互聯網有了那些改變?
鄔賀銓:大數據的出現,對互聯網有很大的影響。就以傳統路由器為例。路由器有傳送功能,也有控制功能,還有業務功能。大數據出現后,我們發現網絡上存在時空不對應的問題,很難判斷哪個地方的流量最高。因此,現在可以把路由器的網絡控制功能抽出來,形成一個網絡控制系統;把業務功能抽出來形成業務系統。靈活實現控制平面的建構,對于大數據流量是一種改型。隨著流量增大,大部分流量過路多,落地少。凡是在光強上做的,就別在電廠做,凡是在IP上可以做的,就不在IPO上做。另外,就是傳統互聯網IP地址表示主機的身份,這個很正常。但移動互聯網的出現,使這個計算機從這里到那里,位置變了,用戶的身份沒有變——完成身份和位置的分離。
另外,現在被討論很多的,IPV4向IPV6遷徙的話題,也是大數據對互聯網的另一個影響。目前為止,必須要解決地址短缺問題,一些人不考慮跟互聯網兼容的問題,甚至提出“后IP”概念。一般大家認為,“革命性”路線發展需要很長時間,10到15年,甚至更長。從這個意義上來說,我們現在的網絡等不及,不可能15年以后再解決地址問題,因此,IPV6是一個必須然的選擇。至于說未來,誰也不能保證任何一個技術是萬全的??吹绞畮啄曛畠?,我們沒有別的解決辦法,就只能往這方面走?,F在,IPV6有利于對地址真實身份的認知,對網絡安全性有好處的。但過度到IPV6是一個長期過程,這個需要整個產業鏈方面的配合。
公共領域:未開采的大數據富礦
CIOI:還有一個跟大數據挖掘密切相關的話題,就是公共信息平臺的建立。這也是信息消費的熱點之一,您怎么看這個問題?
鄔賀銓:我們北京的公交有一卡通,如果把這里面的數據收集起來,我們就能知道北京多少人從哪里換車,每天是個怎樣的流向。
還有一個例子,上海的所有路口都有攝像頭,每個攝像頭后面都有電視屏,放在交通管理中心。一個交通管理中心再大也放不下這么多屏,因此10秒鐘一輪換。通過大數據挖掘,可以把一條馬路的交通組成一個視頻,把整個上海交通組織像一張圖,就像從直升飛機上俯視上海一樣。
我這里還有一個以色列的例子。以色列首都的交通流量,不同顏色表示不同的事件,有些表示事故等。政府統計出來這些數據以后,通過廣播告訴給所有開車的人。我們現在雖然有交通屏,但僅能看到堵車顯示。但是卻無法前進和后退。然而,在非常實時的提供到開車的每個人,這才是很好的服務。我們現在的問題是,有很多地方有很多有用的數據沒有被挖掘,會挖掘的人卻沒有數據可挖。因此我說,公共領域的大數據挖掘,還是要把網絡和生活結合起來。
另外,快到國慶了。國慶之前很多人在網上搜索旅游點,還有酒店信息,私家車的路線等。根據你的搜索,我們知道哪個旅游點最熱,那條路會堵,真正發生在黃金周的情況,我提前就可以知道。因此,基于在這一點,地圖服務,包括基于LBS的數據挖掘、信息開發,都很有可為。我了解的情況,百度成立了定位事業部,以地圖為載體,覆蓋到餐飲、KTV、上商場等。阿里有保護中心,在移動端加強與高德地圖合作。騰訊推出會員卡,加上財富通和搜搜地圖,你可以看到現在我們所有網絡都要跟地圖結合。要跟位置結合,要跟本地生活結合。
利用短信、微博、微信,我們可以收集熱點和輿情。騰訊對每個用戶都建檔案,一個老頭注冊的時候說是18歲少女,無論用什么假名,你在網上時間長了一定露出你的本性。說的夸張一些,不但知道你是男是女,是老是少,還知道你是不是神經病。如果公安局要查,騰訊可以提供一堆神經病的IP地址。
大數據引發行業新業態
CIOI:您在一開始講到大數據伴生的分離作用,這一點很關鍵,使得之前混在一起的功能,漸漸清晰起來。那么,隨之而來會對數據中心會有哪些影響?
鄔賀銓:信源中心和信息中心的分離,是信息技術走到今天,一個很重要的發展。到2015年,世界上的數據中心中,有一半多以上都會是云計算中心,且都是大容量的。云計算中心一般考慮放在什么地方?一般考慮氣候、能源工業。我們國家云計算中心會向高緯度地區集中,比如說內蒙一些涼快的地方遷徙。像谷歌把它的云計算中心放在摩洛哥,因為那比較涼快。
現在,我們的數據中心大部分在北京、上海、廣州;而未來,數據中心會放在內蒙偏遠的地方。此外,將來云計算的出現會把用戶以信息源為中心,向以能源為中心改變,也就是說,中心節點將發生變化。過去,上海、北京、廣州是中心,現在隨著大數據出現發現了不能這樣做,我們需要增加這個數據和中心。美國網建互聯中心有八個,我們現在有三個,中信部有計劃增加這個中心。
還有一個影響,就是大數據的出現,會導致全球互聯網的去中心化?,F在,像谷歌這樣的全球化公司,都紛紛在中國香港等地方上節點。這時候,對外的訪問就沒必要跨洋過海到美國去了。從這個意義上說,國際互連網流量比例必將下降,全球互聯網呈現去中心化。
另外,大數據還會導致區域網絡扁平化。隨著大數據的出現,所有省之間都可以實現直連。而且,不這樣安排,根本沒有辦法支持這么大的流量。
此外,還有一個影響,就是內容分配網絡化。為了讓用戶更好更快的接收信息內容,我們要做內容分配網。國家電信運營商在靠近用戶的地方建了很多CDN,這樣可以適應大家更快訪問視頻。CDN的部署對互聯網流量流向產生了影響,我們國家的國際互聯網占比是降低的,我們的網間流量比例也是降低的;但同時絕對值增加,本地化的訪問更多了,遠端的訪問降下來了。
CIOI:剛才講的這些影響和改變,是不是在移動互聯網也會有相似的問題?
鄔賀銓:移動網絡也一樣。2009年,我國所有的移動通訊呼叫發生率,室內是63%,家里29%,辦公室占14%。越是大數據時代這個比例會越高,室內轉到WIFI,WIFI多了互相干擾,使用小蜂窩的技術,可以范圍很小,損耗很小,因此調試率可以增加。一個蜂窩分成多個分布式的天線,這樣有些蜂窩加上基站,但是蜂窩之間是統籌的,干擾統籌來解決數據量的傳輸問題。
CIOI:有關大數據的眾多討論中,一個很重要的話題就是數據價值的挖掘。有了那么多的數據資源,如何加以分析、加以利用,您有哪些好的例子可以分享?
鄔賀銓:淘寶的CPI和國家統計的CPI不一樣,但是淘寶的CPI更能反映我們的物價波動。國家統計局的CPI主要參數是食品。但除非是經濟情況太差了,人們才會把食品開支省下來,否則不會省吃飯的錢。淘寶的數據中,包括了很多買服裝首飾的部分。如果經濟不好,就會反映出來。人人網通過客戶關系的分析,游戲業務取得100%的增長。大家淘寶上買東西,阿里巴巴把你的IP地址記下來,拿出來讓賣化妝品和賣服裝人競價買這個IP地址。百度搜索排名優先推薦,央視廣告效果誰知道怎么樣?央視去年的廣告收入269億人民幣,百度廣告收入229億人民幣,百度廣告連增50%以上,央視才增多少?現在他們終于發現,原來百度是我的競爭對手。
另外,大數據還推動視頻與互聯網的融合。樂視網買到《甄傳》的網絡播出獨家權,搜狐視頻拿下了《中國好聲音》的版權,還有騰訊視頻參與《快樂男聲》的選拔過程,有一些快男被淘汰了,還可以復活,靠在YY上買東西復活選手。
現在,基于大數據的互聯網,已經變成一個新媒體的融合平臺。大數據提供集資服務,阿里根據中小企業在平臺上的表現,選出放心的中小企業,放貸一千多個億,壞賬率只有1.3%。2013年7月份的統計,阿里靠貸款每天利息一百萬。京東收購了網民在線,從信用卡分期貸款,你在京東買東西留地址什么,他提供貸款。蘇寧建立小貸公司解決貸款問題,為它的營銷創造很好的條件。
CIOI:最后一個問題,是有關互聯網企業的。您怎么看待在這場大融合中,互聯網企業的角色?
鄔賀銓:現在的互聯網企業應該當輕運營商。我們看到,現在互聯網企業除了管道需要運營商,其他東西都不需要依靠運營商,都需要獨立判斷。公安局有微信公眾號,招商銀行也有,這些都可以很好開發的,各種各樣的增值服務在這里都可以出現。
電信運營商開展互聯網活動,銀行做電商,互聯網企業做金融,阿里控制電商的入口,騰訊主刀線交入口,大家都希望到對方的業務領域做拓展。固定想做移動,移動想做固定,廣播做電信,電信想做廣播,運營的賣手機,手機的想做運營,現在很難區分大家的業務。我們看到自留地要種,別的也要搞。在這里,電商和搜索會產生新的業態。
互聯網產生大數據,移動互聯網和物聯網進一步推動數據的暴漲。網絡中心體現去中心化,大數據促進了信息融合和產業跨界結合。大數據引發更多新業態出現,這對互聯網發展是機遇也是挑戰,是對我們國家互聯網創新能力的一次大考。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25