熱線電話:13121318867

登錄
首頁職業發展多算勝少算不勝 大數據:價值何在
多算勝少算不勝 大數據:價值何在
2016-01-04
收藏

多算勝少算不勝 大數據:價值何在

《孫子兵法》說:“多算勝,少算不勝?!苯裉?,決定能否“多算”的重要因素在于,掌握數據的多少以及對數據處理能力的高低。有了大數據對象、大數據處理與應用的技術,再與各類實際應用需求相結合,大數據將給經濟社會發展帶來巨大影響。

    安暉(工業和信息化部賽迪智庫軟件與信息服務業研究所所長)

    肯尼思?丘基爾(《經濟學家》雜志數據編輯)

    吳輔世(美國商業分析軟件與服務供應商SAS公司大中華區總裁)

    尼麗?克洛斯(歐盟委員會負責數字議程的委員)

    維克托?邁爾?舍恩伯格(《大數據時代》作者)

    陳建利(新加坡國立大學教授)

    邁克?弗勞爾斯(紐約市打擊金融犯罪行動組主管)

    惟有堅持“對象、技術、應用”三位一體同步發展,才能充分實現大數據的價值

    安暉:當前,全球的數據總量正呈指數增長,過去3年間產生的數據量超過以往總和。移動互聯網、物聯網等的迅速發展,使新數據源不斷出現,GPS、傳感器等數據持續、大量產生。而數據獲取成本、存儲成本和處理成本的下降,也推動了數據量的膨脹。

    美國麥肯錫全球研究院2011年6月發布題為《大數據:下一個創新、競爭和生產力的前沿》的研究報告,指出“大數據時代已經到來”,數據正成為與物質資產和人力資本相提并論的重要生產要素,大數據的使用將成為未來提高競爭力的關鍵要素。美國政府于2012年3月宣布“大數據的研究和發展計劃”,以提高對大數據的收集與分析能力,增強國家競爭力。

    其實,不僅是美國,其他一些國家也都把大數據提升到國家戰略層面,認為未來國家層面的競爭力將部分體現為一國擁有數據的規模及運用數據的能力。有學者把大數據形象地比喻為推動人類社會發展的“新石油”。

    信息技術領域原先已經有“海量數據”、“大規模數據”等概念,但這些概念只著眼于數據規模本身,未能充分反映數據爆發背景下的數據處理與應用需求,而“大數據”這一新概念不僅指規模龐大的數據對象,也包含對這些數據對象的處理和應用活動,是數據對象、技術與應用三者的統一。

    大數據對象既可能是實際的、有限的數據集合,如某個政府部門或企業掌握的數據庫,也可能是虛擬的、無限的數據集合,如微博、微信、社交網絡上的全部信息。

    大數據技術是從各種各樣類型的大數據中,快速獲得有價值信息的技術,包括數據采集、存儲、管理、分析挖掘、可視化等技術及其集成。

    大數據應用是對特定的大數據集合,集成應用大數據技術,獲得有價值信息的行為。對于不同領域、不同企業的不同業務,甚至同一領域不同企業的相同業務來說,由于其業務需求、數據集合和分析挖掘目標存在差異,所運用的大數據技術和大數據信息系統也可能有著相當大的不同。惟有堅持“對象、技術、應用”三位一體同步發展,才能充分實現大數據的價值。

    大數據是信息技術與專業技術、信息技術產業與各行業領域緊密融合的典型領域,有著旺盛的應用需求、廣闊的應用前景。為把握這一新興領域帶來的新機遇,需要不斷跟蹤研究大數據,不斷提升對大數據的認知和理解,堅持技術創新與應用創新的協同共進,加快經濟社會各領域的大數據開發與利用,推動國家、行業、企業對于數據的應用需求和應用水平進入新的階段?! ?/span>

    肯尼思?丘基爾:大數據一般是指一整套新的技術,分析社會中存在的比以往多得多的信息,通過這些新的分析工具,我們能從大量信息中發現一些有價值的東西。一些技術,如非線性或網絡映射、機器學習等都是大數據分析的一個側面。不管是在生物科學研究,還是在確定一個城市可能發生火災的位置等公共政策問題上,大數據都在給世界帶來變革,因為人類有史以來第一次可以真正地收集海量的信息。

    吳輔世:“大數據”只是一個相對的概念。大數據可以是多種類海量數據,它挑戰傳統分析技術,正推動分析技術行業革新。這種革新始于企業需要處理這些數量龐大又變化迅速的數據,而舊的分析技術已無法滿足需求。新數據分析技術和舊技術的不同之處在于:一方面,數據膨脹要求數據挖掘統計分析技術性能的飛躍。另一方面,不同規模的企業如今都面臨大數據時代帶來的挑戰,分析技術必須朝著平民化、易操作化方向發展:簡單易懂、容易操作并且能為各類企業所用。SAS可視化分析解決方案就是一個很好的例子,即使使用者毫無數據分析專業背景,也能通過直觀的圖形界面輕松地進行數據分析。

    大數據可以讓我們更好地了解自己所生存的社會,并幫助我們做出更加明智的選擇

    尼麗?克洛斯:世界上每分鐘產生1700TB 的數據,但是吸引我們的不僅僅是這個龐大的數字本身,還在于我們可以用這些數據做些什么。大數據是歐洲經濟的“燃料”,如果這些數據可以在網上交互使用,它們將被用作改造社會、創造機遇和使服務更加透明高效和個性化的重要工具。

    無論是工業、金融、研究、辦公、媒體還是日常生活,產生的數據均可成為大數據的一部分。歐盟支持大數據建設的第一步是進行監管。歐委會于2012 年1月提交的“通用數據保護條例”等規定,旨在以較低的費用和簡捷的重復使用條件,更加便捷地使用和重新使用公共數據。

    大數據是一項革命,也會創造大量如“數據科學家”之類的新職業和新的就業機會。一些歐洲公司已經開始使用網上數據,并且在醫療保健、環境保護和科學實驗領域取得了巨大的成功。

    目前亟須對互聯網上數據進行分析的人才,盡管很多新人已經開始關注這一領域,但就業市場上更需要的是有經驗、有知識儲備的人才?! ?/span>

    維克托?邁爾?舍恩伯格:真正由大數據所構建的信息社會能夠為每個人提供服務,讓我們更好地了解自己所生存的社會,幫助我們更好地做出選擇。

    今天在日常生活中,人們的各種行為更多是依據感性的經驗、感覺和所習得的知識,而不是以數據為基礎的理性的實證分析。在未來的5到10年時間里,如果醫生給病患使用的治療手段不是建立在大數據分析的基礎上,我們就理應會感到憤怒。

    我們也會期待學校和老師能夠在對教學案例進行大數據分析的基礎上改進他們的教學方法并合理安排教學內容。同樣,公司和企業會利用對客戶進行大數據分析來創造新產品和新服務。當然,政府也會在大數據分析的基礎上改進政策。所以,未來社會不僅意味著人們將擁有更加先進的科技設施和更方便的工具,同時也意味著更加信息化。

    要實現上述目標,需要我們收集大量的數據并做出行之有效的分析,到那個時候,人人都會意識到數據的價值?! ?/span>

    陳建利:機構和組織通過分析大數據可以挖掘有價值的信息。如銀行可以通過分析客戶數據以確定哪些潛在的信用卡用戶可能無法還款;交管部門通過整合交通狀況、天氣以及駕駛員的地點信息等數據,可以更好地管理交通;大數據可能還會影響到人們的行為。如果駕駛員通過大數據了解到接下來15分鐘原本要走的一些路段預測將出現交通擁堵,那么他就可能會決定繞道而行?! ?/span>

    吳輔世:隨著大數據時代變革的深入,企業開始逐漸認識到數據的重要性,并開始真正重視如何有效利用這些數據來產生更大的智慧和價值。大多數企業都開始意識到“數據”將成為其核心資產,希望通過收集和分析大數據來獲取競爭優勢。鑒于豐富的數據已經變成企業新的資產,很顯然它所帶來的社會效益和經濟效益也將是無窮無盡的。大數據還將有利于解決一系列社會公共問題,包括醫療保健、失業、教育和經濟增長等等。舉例來說,根據經濟與商業研究中心的最新研究,大數據將為英國經濟增加2160億英鎊(約合3467億美元)以上的潛在收益,這些收益來自于效率的提升和創新?! ?/span>

    邁克?弗勞爾斯:大數據在市政管理中應用的好處是有助于優化行政資源的使用,使公共支出產生最大的效益。大數據在紐約市的執法、經濟規劃、防災和災后恢復等方面都有應用。比如大數據可以幫助預防犯罪,大數據的應用可讓執法人員“先發制人”,在犯罪行為造成損害之前就能偵查到?! ?/span>

    安暉:大數據對人類經濟社會發展影響巨大,歸納起來主要有三個方面:一是能夠推動實現巨大經濟效益。據麥肯錫全球研究院測算,大數據將給美國醫療服務業帶來3000億美元的價值,使美國零售業凈利潤增長達到60%,使制造業產品開發、組裝成本下降50%。而大數據所帶來的新的信息技術應用需求,將推動整個信息技術產業的創新發展,預計2013年全球大數據直接和間接拉動信息技術支出將達1200億美元。

    二是能夠推動增強社會管理水平。大數據在政府和公共服務領域的應用,可有效推動政務工作開展,提高政府部門的決策水平、服務效率和社會管理水平,產生巨大社會價值。歐洲多個城市通過分析實時采集的交通流量數據,指導駕車出行者選擇最佳路徑,從而改善城市交通狀況。

    三是能夠推動提高安全保障能力。大數據在國防、反恐、安全等領域的應用,將對各部門搜集到的各類信息進行自動分類、整理、分析,有效解決情報、監視和偵察系統不足等問題,提高國家安全保障能力??偠灾?,大數據將為人們認識世界和改造世界提供新的強有力工具,使人們能更加容易地把握事物規律,更準確地預測未來。

    如果沒有高性能的分析工具,大數據的價值就得不到釋放

    陳建利:只有當我們能夠提出正確的問題,數據才是有用的。所以,更多的相關數據將會幫助我們,但也可以肯定的是,如果對數據沒有良好的分析、處理,那么大數據也沒有幫助。

    吳輔世:如果沒有高性能的分析工具,大數據的價值就得不到釋放。如果不能及時有效處理,大數據的堆積和極速變化帶來的后果將是我們無法掌控的, 它可能會為人類的生存、生活埋下隱患。不過,我相信2013 年是大數據蓬勃發展的一年,2013 年也應該是大數據真正進入大分析的一年。

    除了大分析的新技術,企業還需要新人才。大數據時代對分析人才例如數據科學家的需求將激增,盡早開始人才儲備也是企業穩步發展的優勢之一?! ?/span>

    肯尼思?丘基爾:大數據建立在統計學基礎上。在大數據時代,統計分析更加重要,但它與統計方法又有許多不同。

    在傳統統計學中,我們所做的是試圖通過最小量的樣本觀測來發現規律。由于數據的采集、儲存和分析的成本高,因此人們只能采用抽樣的方法。而在大數據時代,我們收集所有的數據,至少是與我們所研究的現象相關的所有可獲得的數據,這是傳統抽樣方法做不到的。

    另一個不同是, 在統計學中我們進行分析時,考慮的是與研究對象具有內在關系的因素。例如,分析一個借款者的信用狀況,我們可能考慮若干個指標,據此判斷他是否會按時還款。

    大數據時代, 我們需要把一些具有非內在關系的信息考慮進來,比如借款人的頭發顏色、其所使用的網絡瀏覽器、打字時是全部用大寫還是小寫字母或者按照正常的拼寫格式。美國一家金融分析機構就用到這方面的信息來預測顧客是否會按時還款。也就是說, 我們用到了外在的信息,但這些是具有相關性的信息。

    在充分認識到大數據帶來機遇的同時,也應該認識到大數據帶來的可能性風險

    肯尼思?丘基爾:大數據時代令隱私保護問題更加突出。大數據的價值在于存儲后的再使用。不過,關鍵的一個問題是,收集、保存一切信息,與隱私保護政策是有沖突的。保存一切信息是必要的,但是在這么做之前,我們有必要問自己一個問題,即現行的隱私保護政策是不是妨礙了我們正在邁入的大數據世界。社會有必要就此進行大辯論,以便為大數據時代的隱私保護劃定新的邊界?! ?/span>

    維克托?邁爾?舍恩伯格:大數據時代必然會導致人們更多的個人信息被搜集和捕捉,這勢必會使很多人感到不舒服甚至不安。但是,對數據感覺到恐慌或者害怕只是一種“小數據時代”應有的情緒。在大數據時代,每個人身上能夠被獲取的數據點不再是百十個而是高達百萬甚至上億個,誰都根本不可能把某一個人身上的所有數據點全部掌握。所以在保護個人隱私的時候我們可能需要換一種思考方式。比如,我們的關注重點不應該是要不要提供出這些數據,而是如何使用這些數據。

    實際上,大數據時代帶來的挑戰是如何利用大數據分析預測未來,而不是審視過去。比如,一些機構可能在數據分析的基礎上做出預期評估,來拒絕一個人申請的抵押貸款,或者否決病患繼續進行治療的必要。在大數據分析的基礎上,人們的個人意志和被公平對待的要求很可能被否定,這才是應該擔心的地方。

    對大數據進行集中管理會使其變得更容易查找,而且便于混合提取不同類別的數據。但是集中管理可能會造成嚴重的問題:一是可能淪為恐怖分子的襲擊目標,二是會賦予管理機構過于集中的信息掌控權。

    在我看來,在互聯網全球化的時代,我們完全可以從不同的數據庫中采集信息而不是一定要把它們集中在一起。

    事實上,目前的世界大數據儲存已經呈分散化的趨勢,數據市場將會允許不同地域和不同條件下數據的儲存,人們完全可以從各地的大數據庫中提取不同的數據再進行協同整合?! ?/span>

    吳輔世:任何事情都有其兩面性。在充分認識大數據帶來的機遇和利益的同時,我們也應該認識到大數據帶來的可能性風險。大數據的數據量巨大、非結構性強、來源龐雜,當它超出我們控制范圍時,不可預測的問題就將發生,這就對海量數據的分析及應用要求日益增強,對未來的預測能力和優化性前瞻洞察需求更高?! ?/span>

    安暉:對大數據應用必須保持清醒認識,既不能迷信其分析結果,也不能因為其不完全準確而否定其重要作用。

    一方面,由于各種原因,所分析處理的數據對象中不可避免地會包括各種錯誤數據、無用數據,加之作為大數據技術核心的數據分析、人工智能等技術尚未完全成熟,所以對計算機完成的大數據分析處理的結果,無法要求其完全準確。例如,谷歌通過分析億萬用戶搜索內容能夠比專業機構更快地預測流感暴發,但由于微博上無用信息的干擾,這種預測也曾多次出現不準確的情況。

    另一方面,必須清楚定位的是,大數據作用與價值的重點在于能夠引導和啟發大數據應用者的創新思維,輔助決策。簡單而言,若是處理一個問題,通常人能夠想到一種方法,而大數據能夠提供十種參考方法,哪怕其中只有三種可行,也將解決問題的思路拓展了三倍。

    所以,客觀認識和發揮大數據的作用,不夸大、不縮小,是準確認知和應用大數據的前提。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢