解構“大數據”驅動未來的路徑_數據分析師考試

“大數據”是近年關注度極高的一個概念，而在目前A股市場信息服務行業絕大多數公司都或多或少的涉足這一領域。大數據的發展與IT行業的飛速進步息息相關。軟件驅動世界的進程已進入深化發展階段，原子世界正與比特世界展開深度交叉融合，形成人類更易洞察的數據世界。未來軟件將不斷重新定義世界的萬事萬物，數據在軟件冶煉工藝的作用下價值將不斷被挖掘出來。

1、 IT變化令人驚嘆的十年

過去十年， IT對經濟社會的影響比之前的50年還要顯著。2012年，美國國家科學院（United States National Academy of Sciences, NAS）對IT歷史的研究表明，移動通信、微處理器、PC、互聯網、企業IT系統和個人娛樂等多個領域盡管早在20世紀80年代前后便已形成產業化，但形成100億美元規模產業卻基本都是在1995年互聯網爆發之后。微處理器在1980年開始批量進入市場，在1986年左右形成10億美元產業，在1995年形成100億美元規模產業；PC雖然在1983年便已形成10億美元規模，但在1998才達到100億美元；企業IT系統在1982年產業化，在1990年才形成10億美元產業，1997年突破100億美元；個人娛樂更是早在1970年便已產業化，在1977年就形成10億美元產業，但在2004年才達到100億美元。 

全球網民從2000年的2.5億，增長到2013年的26億，手機用戶更是從5億躍升至68億，無論是在紐約、倫敦，北京、里約熱內盧，還是在摩加迪沙、開普敦，到處都能看到打電話、發短信的手機用戶。移動互聯網用戶從無到有，規模在短短的6年時間，用戶數量便達到26億，已超過將近半個世紀歷史的PC互聯網用戶，發展中國家的很多用戶直接跨越PC互聯網階段進入移動互聯網時代。中國國家互聯網信息辦公室發布的報告顯示，截至2013年9月底，中國網民數量達到6.04億，互聯網普及率達到45%；移動互聯網用戶達8.28億，手機超越臺式電腦成為第一大上網終端，中國互聯網已進入移動互聯網時代。

圖1：2007年~2015年全球的移動互聯網用戶增長趨勢

互聯網經濟呈現爆發式增長態勢，波士頓（BCG）的研究顯示，如果把互聯網也當成一個國家經濟體，它是僅次于美國、中國、日本以及德國的全球第五大經濟體。2010年中國的互聯網經濟價值約為3260億美元，占GDP的5.5%，成為支柱性產業。20國集團的互聯網經濟在2016年之前的五年期間將以每年10%以上的速度增長，發達市場互聯網經濟將以每年8%左右的速度增長，而發展中經濟體中，互聯網經濟的年均增長率將是發達市場的兩倍以上，平均達到18%。到2016年，互聯網經濟總共將為20國集團的GDP貢獻4.2萬億美元。 

微觀層面來看，光學相機被數碼相機取代，智能手機大有取代數碼相機之勢，移動磁盤、光盤基本被U盤取代，以軟件為核心的云計算存儲（云盤）正在不斷吞噬U盤市場。電子書沒有紅火兩年，便基本被智能手機、平板電腦消滅掉，在操作系統上構建一個閱讀軟件比電子書便宜的多、功能豐富的多。2007年，蘋果公司以iOS重新定義智能手機后，PC在信息化中的核心終端地位逐步被智能手機所取代。智能手機的性能更是日新月異，2007年的iPhone的CPU性能便已相當于早期的奔騰II水平，目前智能手機的運算速度比10多年前的臺式計算機要快若干倍，但體積僅有其鍵盤的八分之一，而價格僅有其十分之一。4核心CPU、64位處理器、1080P屏幕未來1~2年將成為高端智能手機的標準配置，即使100美元的智能手機，其性能也堪比4-5年前的PC。

圖2：2000年的iMac Bondi與2010年的iPhone4對比 

智能手機的出現也帶來IT產業格局的重塑。諾基亞、摩托羅拉、黑莓從巔峰墜入谷底，落得被變賣的結局，微軟、英特爾在蘋果、谷歌、高通、聯發科的沖擊下，不知所措。曾經輝煌的IBM、微軟、英特爾、惠普、雅虎等被硅谷蘋果、谷歌、亞馬遜、Facebook等新四強取代。 

IT產業巨變的核心動力來自于用戶群體的快速增加，也可以說是IT擴散的范圍迅速變大，核心IT設備PC從每個辦公室擴展到每個家庭。軟件從驅動辦公室自動辦公設備，為數億辦公室白領用戶服務、生產流程管理服務，擴展到軟件驅動互聯網為數十億普通消費者的生活、娛樂、信息消費服務。

依照電的發展進程規律，未來十年IT產業、IT對經濟社會的影響不會比過去十年弱。移動互聯網時代，軟件驅動的對象轉變為每人一部甚至多部的智能手機、多件可穿戴設備，IT從每個辦公室一個（PC），到一個家庭一個（PC），再到一個人一個（手機），直至一個人多個（可穿戴設備），IT的影響也將更加廣泛和深入。更為關鍵的是整個經濟社會加快在網絡空間的映射，形成現實社會與虛擬網絡空間交融的數字世界，更進一步促進比特與原子的融合；各種數據將被軟件定義的各種函數充分挖掘其潛在價值，將形成數據生產力，IT產業的未來圖景也將更加廣闊。 

2 、軟件驅動世界的進程與電非常相似 

從歷史的長周期來看，電腦普及的速度（從1971年到2001年）和電力技術普及的速度（從1894年到1924年）差不多。

圖3：軟件驅動世界與電驅動世界的進程非常相似 

電最初的使用局限于照明、電車等電的簡單利用。在電燈發明的20年后的1899年，美國制造業所有動力中也僅有4.8%是由電力驅動的。之后電動機的發明、發電、輸變電技術的進步、大規模集中電廠的出現推動電廣泛進入生產領域，從而使電力的普及速度明顯加快。1887年以后的15年時間里，對電的需求擴張5倍，年均增長為11%；從1902年到1917年的15年時間里，對電的需求增長了17.5倍，年均增長為21%。1902年前簡單的照明是最大的用電需求，幾乎占用電量的一半，制造、電化工、采礦等用電約占30%，交通等公共需求約占20%。之后電化工迅速發展，到1907年電化工成為最大的用電需求；1910年制造業電氣化普及，制造業成為最大的用電需求。1917年，生產領域的用電趕超生活領域的用電，生產領域占半壁江山，而生活領域退縮到三分之一。2012年，全球45%的電被電動機消耗，照明占20%；美國工業用電占23.9%，商用用電占32.5%，居民用電占43.6%；中國工業用電占72%，居民用電占28%。 

圖4：電驅動世界的路徑–由簡入繁，由淺入深 

電重新定義動力（設備由蒸汽機變為電動機，資源由水變為電）之后，全要素生產率（Total Factor Productivity，TFP）明顯提高。1870~1900年，第二次產業革命處于初始期，電力剛投入商用，電力對TFP影響有限，20年期間美國TFP年增長1.5%左右（1870~2010年，美國TFP年增長率為1.5%~1.8%）。1920之后電在工業領域廣泛應用，TFP快速提高，1920~1940年期間TFP年均增長2.5%左右。

電驅動世界的路徑—由簡入繁，由淺入深，先從照明等生活領域開始，逐步進入生產領域，從而帶動工業生產率的大幅提高，之后在生活領域的進行深化應用，冰箱、電視、洗衣機等不斷改善人類的生活條件。電的應用路徑受人類認知過程、發明創新進程、基礎設施建設進程、成本下降過程等多方因素影響影響。

3 、軟件驅動世界與電的路徑有所不同

軟件驅動世界先從生產領域開始。軟件驅動世界的路徑先從軍方、政府、大型企業組織等生產領域開始，因為其對價格敏感度低，能夠承受幾百上千人的IT支持隊伍，這個階段統稱為企業IT時代。企業IT時代，軟件最開始作為硬件的附加，提供計算功能，進入計算密集型領域，協助科研人員進行密集計算、方便政府部門進行統計；之后進入財務領域、工程設計等信息密集型領域來提高效率；再之后進入企業物料管理領域、辦公自動化領域，來實現辦公流程的自動化、生產管理的信息化。企業IT時代，軟件驅動企業基本是外圍的、輔助的，深入到生產流程的全面自動化還很有限，2007年，歐盟所有企業中，實現了全流程數字化的企業也只有20%～35%，2010年，北京市實現全流程數字化的企業比例尚不超過15%。企業IT時代，軟件驅動世界非常像電驅動世界的早期階段，滲透有限、功能有效、作用有限。

圖5：消費IT引領IT潮流 

軟件驅動世界的第二階段是軟件進入數以十億計普通消費者的時候，也就是所謂的消費IT時代?；ヂ摼W時代的到來逐步拉開消費IT時代的序幕，IT加速進入生活領域，iPhone的誕生標志消費IT時代進入新的發展階段。企業IT時代向消費IT時代的轉變，導致軟件從硬件的附屬，變為硬件是軟件的附庸，計算的軟件變成軟件的計算，近幾年呈現的云計算、大數據的核心都是軟件。這個階段軟件對經濟社會的作用開始猛增，無論是互聯網企業的人均生產效率，信息化進程，還是民眾生活便捷等均發生明顯變化。消費IT時代，軟件驅動世界非常向電驅動世界的第二階段，電機廣泛被工廠做為電力，工業生產效率突飛猛進。 

圖6：企業IT由1.0進入2.0時代

與此同時，IT在生產領域的作用仍在進一步深化，信息或網絡系統與物理系統融合程度不斷加深。信息物理系統（cyber physical system，CPS）很好的詮釋了這一趨勢。CPS是一個綜合計算、網絡和物理環境的多維復雜系統，通過3C（Computation、Communication、Control）技術的有機融合與深度協作，實現大型工程系統的實時感知、動態控制和信息服務。CPS在交通控制、汽車行駛、工業過程控制、關鍵基礎設施控制（電力、灌溉網絡、通信系統）、機器人、防御系統等諸多領域已經展開應用。目前家庭10萬元級轎車中標配的電噴發動機、ABS剎車裝置是CPS初級典范之作。通用電氣、孟山都等傳統企業爭相在硅谷設立據點或巨資收購硅谷企業，以強化自己的IT能力。以汽車電子來改造汽車機械系統為己任的傳統汽車企業開始意識到將被以IT、互聯網為中心的汽車企業特斯拉（Tesla）所挑戰，這也難怪豐田會把谷歌列為潛在競爭對手，因為谷歌牌無人駕駛汽車正待上路。

4、 軟件定義世界，數據驅動未來

軟件正在重新定義一切（software defined anything，SDX）。繼智能手機、平板電腦被軟件重新定義之后，其它IT產品也在不斷被軟件重新定義。軟件定義的網絡（software defined networking ，SDN）、軟件定義的數據中心（software-defined data center，SDDC）、軟件定義的存儲（software defined storage，SDS）軟件定義的路由器等思想、概念和產品不斷涌現。電視機、冰箱、鞋子、手表、眼鏡等傳統工業產品也加入被定義的行列，甚至汽車都在被谷歌重新定義。為各類產品增加一個操作系統后，產品似乎有了魔力；物理功能可以盡量簡單，應用功能可以無限豐富；功能可以無限拓展、能力可以不斷升級。手機上安裝操作系統后，簡直成了一個移動計算機，計算、辦公、支付、導航、視頻、音樂等等功能無所不包。利用智能手機APP軟件，通過特斯拉Model S的操作系統，能夠控制多媒體功能、通信、客艙功能、車輛功能等，可以實現車輛的遠程控制，可以通過互聯網實時更新操作系統。

圖7：軟件定義世界（SoftwareDefined X，SDX） 

數據已經成為戰略資產。數據是人類活動在網絡空間的映射，蘊含人類生產、生活的規律，挖掘數據潛在價值，對國家治理、社會管理、企業決策和個人生活影響深遠。世界經濟論壇的報告認為大數據為新財富，價值堪比石油；商業版圖由此被重新劃定，通曉如何利用這些數據的企業將成為最強者。

人類進入大數據時代。隨著互聯網、移動互聯網和物聯網的廣泛而深入地應用，人類活動的蹤跡加快在網絡空間的映射，網絡瀏覽、行車軌跡、購物行為等等均留下數據記錄。目前，全球數據呈現爆發式增長態勢，人類社會邁入大數據時代；全球每18個月新增數據量是人類有史以來全部數據量的總和。大數據的核心是數據，與大小無關，為區別于大眾思維中的“數據”、“海量數據”，業界發明“大數據”一詞取而代之。 

目前，大數據已經在各行各業展開應用，成效顯著。美國通用電氣公司通過每秒分析上萬個數據點，融合能量儲存和先進的預測算法，開發新型風機，效率與電力輸出分別比現行風機提高了25%和15%。UPS通過行車整合優化和導航系統（On-Road Integrated Optimization and Navigation，ORION），利用安裝在上千輛運輸車輛上的傳感器不斷發回的數據流來優化線路，UPS公司運輸路線縮短了530萬公里，引擎閑置時間減少了1000萬分鐘，節省了65萬加侖的油，碳排放量減少了6500多公噸。

圖8：各行各業都在展開大數據應用

大數據在消費IT領域的作用更加明顯。只要你用PC上網或手機瀏覽信息，你便在網絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數據刻畫的一覽無余，恭喜你已經成為數字透明人了！可能你都不知道自己下一步要干什么，產品經銷商借助搜索引擎、電子商務平臺、旅游網站的數據根據你的瀏覽行為已經在為你張羅生日、餐飲、旅游、結婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經為你編排好了。 

圖9：網絡畫像 

數據不僅是傳統產業升級的助推器，也是新興產業孕育的催化劑。數據已成為與礦物和化學元素一樣的原始材料，正在形成數據服務、數據探礦、數據化學、數據材料、數據制藥等一系列戰略性新興產業，數據生產力效應開始顯現。 

總結一下： 

①電驅動世界的路徑：首先由生活領域開始，開發有限、應用有限、影響有限，技術的不斷創新推動電進入生產領域，從而實現生產力的躍升，進一步在生活領域深化。 

②軟件驅動世界的路徑：先由成本承受力高、技術能力強的生產領域開始，技術的創新推動IT更加易用、產品的創新使產品價格持續降低，從而帶動IT進入用戶群體更大、應用范圍更加廣泛的生活領域，形成巨大的活力；IT進一步在生產領域深化，推動信息與材料的融合，形成無縫的信息物理系統（cyber physical system，CPS），從而大幅帶動生產力的提升。 

③盡管電和軟件進入生產、生活領域的路徑有所不同，但驅動進程非常相似，因為人類的認知能力并不可能發生突飛猛進的變化，開山鑿巖、架設電線、敷設光纖等基礎設施建設過程無論哪個時代都不容易，產品的創新也不可能一蹴而就，成本的下降更是一個持續的過程。軟件驅動世界的進程已進入深化發展階段，原子世界正與比特世界深度交叉融合，形成人類更易洞察的數據世界；數據不僅是戰略資產，更是生產力，人類全面進入信息社會。