
面臨大數據挑戰的網絡科學_數據分析師
首先,我衷心祝賀“大數據時代下復雜網絡的機遇與挑戰研討會暨信息社會50人論壇”順利召開,這個議題很好。我對組委會的邀請深表感謝!因客觀原因難以親自赴會,但是我仍關注和期待分享研討會取得的成果。我用這個書面發言稿,作為對研討會的一點支持。煩請組織者幫我在會上宣讀,與大家交流思想,如有不當,愿聽大家寶貴的反饋意見。下面分三個問題來談自己的看法。
一、面對國際上的挑戰態勢
隨著現代科技,尤其網絡信息科技的突飛猛進,全球以互聯網和移動通信技術等為核心的信息爆炸式增長,數據無邊界,大數據無所不在,數據包羅萬象,已經成為不爭事實。
值得我國關注和深思的問題之一是,為什么美國總能引領世界科技創新和信息發展的未來方向?請看:美國從沿1993年9月開始的“信息高速公路”(“國家信息基礎設施”(National Information Infrastructure,簡稱NII)),狂飆到“大數據”。2012年3月美國奧巴馬政府出臺了“大數據研究和發展倡議(Big Data Research and Development Initiative)”,成為美國聯邦政府的又一項重大國策,震撼全球,必將在全世界產生廣泛而深刻的長遠影響。美國之所以能夠引領世界科技的潮流是因為美國具有公認的最先進的科技和人才優勢。并具有與時俱進和引領未來新潮的雄心勃勃的科學家群體和最雄厚的國力。我國與其相比怎么樣?我們不得不承認確實還有不小差距。就拿網絡科學來說,為什么老是巴拉巴西為首的美國網絡科學家群體成為國際上該領域的領羊頭?這里需要我們三思??!這次座談會如果能夠議論這個問題,應該是非常有意義的。只有我們勇敢坦誠地面對挑戰,找到了差距,明確了方向,我們的力量才能用在刀刃上。特別寄希望于我國年輕一代,不驕不躁,腳踏實地,百倍努力,加速驅動創新,我國才能在不久的將來有望迎頭趕超國際先進水平!
美國大數據倡議目的是,大力推進從大量的、復雜的數據集合挖掘新知識、提高洞察力、激勵新智慧。白宮科技政策辦公室(White House Office of Science and Technology Policy,OSTP)是這份倡議制定者,首批確定6個聯邦部門宣布投資2億美元,一致確認:共同提高收集、儲存、保留、管理、分析和共享海量數據所需核心的先進技術,并形成合力;擴大大數據技術開發和培養應用所需的“數據科學家”后備人才。請注意:美國總是念念不忘人才,只有科技人才是領引國家未來發展的最重要的先決條件。同時透露了多項正在進行中的美國聯邦政府各部門的大數據計劃。美國國防部在大數據上每年的投資大約是2.5億美元(6000萬美元用于新研究項目),包括一系列跨軍事部門的項目。美國國防部高級研究計劃局(Defense Advanced Research Projects Agency,DARPA)啟動了XDATA計劃,該計劃每年投資約2500萬美元,將持續四年,用于開發分析半結構化和巨大容量的數據計算方法和軟件工具。從上可見,美國正在舉國上下動員各個領域和部門,調動和利用一切可能的力量向著前所未有的大數據大進軍!
值得深思的問題之二是,大數據為什么上升到了一場國家戰略高度?突出的關鍵點:大數據技術領域的競爭,事關國家安全和未來,大數據堪比隱形金礦,奧巴馬政府公開稱其為“未來的新石油”?!按髷祿钡挠媱澮罂茖W家從大數據中萃取有價值的信息,并從國家層面找到保證信息安全的有效措施。過去,美國聯邦政府運用同樣的倡議方式在信息技術研發領域進行投資,使得其在超級計算和互聯網建設方面獲得了巨大的進步。而如今的這份倡議又承諾了在科學發現、環境保護和生物醫藥研究、教育,以及國家安全等領域利用大數據能力的突破。不言而喻,美國的大數據戰略是從大數據中萃取有利于美國持久繁榮的智慧,并從國家層面找到保證信息安全的有效措施。我國能夠無動于衷嗎?當然不能??!
特別值得指出是,從國家層面看,“大數據”實質上涉及到國家數字主權問題,它體現在一國擁有數據的規模、活性以及解釋、運用的能力,以及對數據的占有和控制的能力。就像網絡空間成為繼海、陸、空、天之后的第五空間一樣,數字主權將是繼邊防、海防、空防之后,另一個大國博弈的空間。
面對美國的新的挑戰態勢,世界各國哪能無動于衷?我國和歐盟等國家必將跟進,出臺相應大數據政策。作為一個大國,如果大數據領域的落后,就意味著失守產業戰略制高點,意味著數字主權無險可守,意味著國家安全將在數字空間出現漏洞。因此,不論是歐盟等大集團,還是我國必將出臺對于科技和大型經濟體的引導性、傾斜性的政策和措施,例如,我國高科技(863)、基礎研究(973),核高基、重大政府工程包括互聯網工程等,政府都必對這些領域和行業給于傾向性支持,大數據相關的高新科技和信息產業鏈部門,將迎來快速發展的良機。
應該看到,我國政府早就提出了“用好、管好互聯網”,正是為了用好管好“大數據”,以確保我國的網絡信息安全。
令人高興的是,中國計算機學會聞風而動,2012年10月于成立了“大數據專家委員會(CCF Task Force on Big Data, 簡稱CCF TFBD)”, 其宗旨是,探討大數據的核心科學與技術問題,推動大數據科學方向的建設與發展;構建面向大數據產學研用的學術交流、技術合作與數據共享平臺,并對相關政府部門提供戰略性的意見與建議。這個委員會成立適應了大數據時代的需要,可以堅信:CCF TFBD一定不辱使命,當擔起我國大數據時代的責無旁貸的使命。我有幸作為一位特邀委員,將愿意積極配合支持其各項活動,共同努力,盡我一份應有的責任和義務。
有關專家分析指出:數據時代產業發展呈現三大發展趨勢:第一,應用軟件一定會泛互聯網化。第二,行業會垂直整合。越靠近終端用戶的公司,在產業鏈上將擁有更大的發言權。第三,數據將成為資產。我認為應該再加一個趨勢:第四,科技創新和領域交叉越來越重要,作用越來越明顯。這四大趨勢都是圍繞大數據展開的。泛互聯網化是收集數據的重要渠道,沒有泛互聯網化的應用軟件,公司就難以獲得用戶的行為數據;行業垂直整合數據運用層面,通過搜集大量的用戶數據,更貼近用戶,更理解用戶,為其提供更適用的服務;數據成為資產更強調數據的戰略意義??萍紕撔潞徒徊嫜芯渴巧鐣洕l展的不竭力量和智慧源泉。
現在問題是,我們科學教育界,特別是,從學術角度來看,我國網絡科學和復雜性科學等領域在大數據的驅動下,面臨哪些挑戰性問題?
二、“網絡的網絡”(NON)的若干挑戰性問題
“網絡的網絡(NON)”是大量現實世界網絡錯綜復雜的真實表現。NON的特點表現在:網絡嵌套著網絡,“你中有我,我中有你”,網絡節點本身可能是一個復雜網絡,具有多層次、多維性、多級性、多屬性和多目標等特征。也就是說,實際上,NON基本上是具有自組織的各類網絡的集成,也稱為超網絡?;ヂ摼W、萬維網、高科技網絡、物聯網、軍用網等許多網絡是NON的一些典型例子。雖然國內外目前還缺乏公認的超網絡定義和普適的理論方法,整個課題尚處在探索階段。但是,NON問題已經提到研究日程上來了。
令人可喜是,“大數據時代”出現了。但是,我深深感到,真正需要的大數據目前有時又很缺乏,或因保密不開放,或因競爭存在壁壘,或因技術問題等原因,迄今很難獲得科研所需要的有關大數據。例如,我們原子能科學研究院網絡小組,在探索國內外高科技超網絡時,就遇到大數據難以獲得,其他NON也同樣存在類似大數據的瓶頸問題。 因此,從當前基本事實和特點出發,NON問題面臨一系列的挑戰性課題,這里就我的感觸,略述若干課題:
挑戰-1:如何收集、挖掘和處理“網絡的網絡”所具有的多層次、多目標、多維度和多極性相互作用的“諸多”的大數據,并能夠實現完全開放使用。
挑戰-2:基于大數據,探索和建立NON的統一理論體系及其在實際網絡中的應用,是今后網絡科學的一個嶄新研究方向,它涉及最重要的NON基礎問題,這方面課題研究開啟網絡科學研究的一個新里程。怎么探索諸多層次的錯綜復雜的網絡?迄今國內外只提出具有2-3層的NON理論方法,缺乏多層次的MON的動態演化的理論分析方法,期望創立一個統一的“網絡的網絡”理論框架,任重道遠。
挑戰-3:基于實際超網絡的大數據,需要引入一些新概念和新方法,揭開NON的演化特點和規律。需要提出對NON能夠進行整體性能評估和刻畫的新指標,例如,目前涉及層次之間能量差、功能差、流量差、交叉度等,隨著研究的深入,需要提出分析、處理和計算NON的大數據方法,不僅需要挖掘,而且需要“反”挖掘。
挑戰-4:考察“網絡的網絡”相互關聯和節點耦合等因素的影響,探索NON的魯棒性、脆弱性、級聯效應、抗毀度等都是實際感興趣的若干重要課題,怎么揭開具有多層次的NON的時空特性的“廬山真面目”?難點有待突破。
挑戰-5:探索NON動力學涌現現象、完全同步和廣義同步(部分或群同步)及其相關機制, NON的可控性、能觀性及其控制方法都面臨著更大的挑戰。
三、面臨《網絡空間》的空前挑戰
21世紀是一個網絡信息時代,網絡安全問題成為最突出的全球性問題之一,它不僅是一個純技術性問題,而是與社會、政治、軍事等緊密關聯的錯綜復雜的綜合安全問題。與各個國家及世界上每個人都息息相關。網絡空間是主權國家在陸、海、空、天之外的“第五空間”,網絡空間的出現,使國家安全涵蓋的空間從傳統的擴大到了“信息邊疆”。網絡信息傳播突破了時空限制,已成為主權國家賴以正常運轉的“神經系統”,對傳統安全防范體系造成了嚴重沖擊和空前挑戰。
我理解,所謂“網絡空間”是由部署在不同軌道、執行不同任務的多種類型的衛星,包括太空站,臨近空間飛行器及相應地面系統和終端連接起來,并與傳統地面有線和無線網絡相融合的空天地一體化的一大類特殊性的多層次NON,是“網絡戰”包括 “網絡中心戰爭”(Network——centric warfare,NCW)的主戰場之一。例如,美國建立名為“梯隊”的竊聽系統,擁有120多個衛星網站,對全球進行竊聽,“梯隊”系統作為一個由美國操縱的情報網絡收集海量大數據,進行分析,能夠在全球范圍內攔截以公眾電話交換網絡、衛星及微波通訊所傳送的電話、傳真、電子郵件和其他數字資訊等。
“網絡中心戰”是美軍轉型中于1998年提出來的,它是以網絡科學作為指導思想,通過全球信息網格,把各分散的作戰要素通過全球信息柵格實現網絡化,共享戰場態勢感知,協調統一行動,將信息優勢轉變為行動優勢充分發揮整體作戰效能。從信息化作戰中環節來看,NCW有九大核心系統,涉及到眾多現代科技領域,與復雜網絡密切相關,它們的大數據可謂龐大而神秘,重要性可想而知。
今年,美國炒作“中國黑客威脅論”,甚囂塵上,旨在制造一場有計劃、有目的、有組織的輿論戰,以為其今后進行的“網絡空間戰”的進攻尋找借口。當前我國大多數黑客攻擊來自美國。國際上一些發達國家隨之緊跟,“網絡空間戰”也已提高到北約和澳大利亞等發達國家的戰略。日本、法國、德國、印度等國家都已建成編制的網絡戰部隊。我國面對國際上的嚴峻挑戰,決不能等閑視!
總體形勢嚴峻,但是網絡空間的全面知識和新技術目前都非常缺乏,有的方面甚至還沒有。美國自己就認為,網絡中心戰類似于當年美國的曼哈頓‘原子彈工程’、‘阿波羅’登月工程, 需要長期的、動員全國力量的創新”。因此,針對空前錯綜復雜的NON和網絡空間,更需要基于大數據的創新驅動,竭力探索、建立和發展NON的新理論、新知識、新方法和新技術,揭開NON及其網絡空間深層次的規律,為保障網絡空間的安全提供理論和技術基礎。
我國國家主席習近平于3月14日應約同美國總統奧巴馬通電話時,就網絡安全問題交換了意見,闡述了中方原則立場,表示當前網絡安全問題日益突出,已成為各國普遍關切的綜合安全挑戰。維護網絡空間的和平、安全、開放、合作,符合中美在內的國際社會共同利益。中方堅決反對任何形式的黑客活動。中方愿同美方以建設性方式就網絡安全問題保持溝通。我國前任外交部長楊潔篪指出:“各國在網絡空間是一個你中有我、我中有你的“命運共同體”,網絡空間需要的不是戰爭,而是規則與合作。我們反對把網絡空間變成另一個戰場,把網絡作為干涉別國內政的另一個工具?!蟹揭恢背珜嫿ㄒ粋€和平、安全、開放、合作的網絡空間,主張在聯合國框架內制定相關的國際規則,并提出了具體的倡議?!?/span>
大家知道,美國由于軍事需要于1969年創造了互聯網,在網絡空間方面,具有絕對的主導地位和優勢,美軍是第一個謀劃網絡戰的國家,也是第一個進行網絡戰的國家,他們這方面動作頻頻,網絡戰已經遠超“把某某官方網站黑掉”的層次,而發展為通過互聯網摧毀敵國電力、金融、通訊等國家關鍵基礎設施網,并對軍用作戰指揮網虎視眈眈。美國別有用心制造中國網絡威脅論就是為了增加網軍的必要性和擴大經費的需要。
美國2009年成立網絡司令部,屬于戰略司令部,安全局局長兼任網絡司令部司令,業務上統一領導。司令部人員有937人,準備擴大到4900人.剛成立時經費是1.5億美元,2013年增加到1.8萬億美元。2002年組建網絡黑客部隊以來,建有專門的黑客部隊超10萬人,并在全球范圍內招募黑客精英為其服務。今年3月15日,美國網絡戰司令部司令亞歷山大宣布,美軍將新增40支網絡部隊。即使在美國國防經費減少的情況下,仍然不斷增加“網軍”的經費。
我國是全球網絡發展最快的國家之一,同時也是遭受網絡攻擊最嚴重的國家之一。網絡犯罪和網絡恐怖主義的危害也在日益凸顯。對許多國家安全穩定造成了嚴重威脅。
大數據時代來臨之際,我們面臨的挑戰和機遇并存。需要用網絡信息化提升我國驅動創新的能力,在網絡科學與工程領域,以我愚見,我國需要大力加強基于大數據以下若干重點課題研究:
(1)開展NON及其網絡空間的基本問題的研究,建立和發展“網絡的網絡”的新理論、新知識、新方法,提出能夠滿足網絡空間應用要求和適應不同特點的安全解決方案和新技術;
(2)針對空間網絡具有大數據、復雜性、異構性、開放性等特點,需要大力研發和突破空間網絡的信息支撐技術,以實現大數據快速智能的信息獲取、分析、傳輸、處理、分發和應用,為未來網絡戰、信息化戰爭提供理論和技術支撐;
(3)加強攻防結合的“網絡武器(網武)”技術的研究,重視和加強包括下一代互聯網技術與工程的研究,例如對離線攻擊技術和無線注入進攻性“網武”技術等探索,確保我國網絡攻防技術雙全。
(4)大數據與網絡空間安全、云計算和移動通信技術等之間存在密切的關聯性,注意在這些結合點上加強綜合應用研究與交流。
(5)我國科研需要的大數據與商業利益是一致的,雖然有所區分,但是學術界與企業界需要達成共認和平衡,政府要發揮應有的主導作用。不能因為商業巨大利益而忽視限制科研單位對大數據的迫切需求,而影響我國科學的深入探索。努力提升我國網絡科學與工程領域在國際上的強大的競爭能力,提高我國大國的舉足輕重的地位和廣泛影響。
(6)努力提高我國網絡科學與工程的驅動創新能力,助推中華振興,實現科學強國的中國夢。
為此,我建議:中國工業與應用數學學會《復雜網絡與系統控制專業委員會》應該率先行動起來,主動與各相關協會和國家部門合作或配合,出臺我國在《網絡科學與工程》包括NON和網絡空間等領域的大數據具體計劃。并希望:從中央到地方,我國政府各個部門,特別是相關科技、教育、國防等部門,特別是,科學技術部,工業與信息部,國家發展與改革委員會,教育部,國家自然科學基金委員會,中國科學院、中國工程院等部門,以及各個民間科協、學會組織相互積極配合,像計算機協會大數據專家委員會那樣,全國同心協力,制定措施,明確目標,加強合作,盡快分別(能夠聯合更好)出臺我國大數據在各個領域的具體計劃,真正給力推動和促進我國大數據的快速發展與廣泛應用。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25