大數據和人工智能概念全面解析

一、大數據和人工智能

大數據是伴隨著信息數據爆炸式增長和網絡計算技術迅速發展而興起的一個新型概念。根據麥肯錫全球研究所的定義，大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。大數據能夠幫助各行各業的企業從原本毫無價值的海量數據中挖掘出用戶的需求，使數據能夠從量變到質變，真正產生價值。隨著大數據的發展，其應用已經滲透到農業、工業、商業、服務業、醫療領域等各個方面，成為影響產業發展的一個重要因素。

當前人們所說的人工智能，是指研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術以及應用系統的一門新的技術科學，是由人工制造出來的系統所表現出來的智能。

傳統人工智能受制于計算能力，并沒能完成大規模的并行計算和并行處理，人工智能系統的能力較差。2006年，Hinton教授提出“深度學習”神經網絡使得人工智能性能獲得突破性進展，進而促使人工智能產業又一次進入快速發展階段?！?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學習”神經網絡主要機理是通過深層神經網絡算法來模擬人的大腦學習過程，通過輸入與輸出的非線性關系將低層特征組合成更高層的抽象表示，最終達到掌握運用的水平。數據量的豐富程度決定了是否有充足數據對神經網絡進行訓練，進而使人工智能系統經過深度學習訓練后達到強人工智能水平。因此，能否有足夠多的數據對人工神經網絡進行深度訓練，提升算法有效性是人工智能能否達到類人或超人水平的決定因素之一。

隨著移動互聯網的爆發，數據量呈現出指數級的增長，大數據的積累為人工智能提供了基礎支撐。同時受益于計算機技術在數據采集、存儲、計算等環節的突破，人工智能已從簡單的算法+數據庫發展演化到了機器學習+深度理解的狀態。

二、人工智能產業及生態

按產業鏈結構劃分，人工智能可以分為基礎技術層、AI技術層和AI應用層?；A技術層主要聚焦于數據資源、計算能力和硬件平臺，數據資源主要是各類大數據，硬件資源包括芯片研發、存儲設備開發等。AI技術層著重于算法、模型及可應用技術，如計算智能算法、感知智能算法、認知智能算法。AI應用層則主要關注將人工智能與下游各領域結合起來，如無人機、機器人、虛擬客服、語音輸入法等。

圖1 人工智能產業鏈

（一）基礎技術層

1.1 大數據

數據資源是機器學習訓練的基本素材，通過對于數據的學習，機器能不斷積累經驗和優化決策參數，逐漸變得更貼近人類智能。

從數據流動方向的角度來看，大數據的產業鏈可分為底層平臺、處理分析、應用三個層次。底層平臺由基礎設施與數據資產池構成，主要提供數據采集、分享和交易服務，處理分析則是在原始數據的基礎上對數據進行清洗后以不同方式呈現。在數據處理分析的基礎之上，挖掘各行業的數據需求，最終為用戶提供服務。

根據數據應用程度不同，大數據產業鏈下各參與方功能可細分為數據標準與規范化、數據采集、數據安全、數據儲存與管理、數據分析與挖掘、數據運維和數據運用七個方面。 

1.2 計算能力和硬件平臺

數據資源、核心算法、運算能力是人工智能的三大核心要素。隨著全球移動互聯網和物聯網等快速發展，人類可獲取利用的數據正以爆炸式增長。海量的大數據通過最新的深度學習技術將為人工智能的發展與應用帶來難以估量的價值，而運算能力提升是人工智能發展的前提保障。其中，芯片是運算能力的核心。

就目前而言，AI 芯片主要類型有GPU、FPGA、ASIC和類人腦芯片四種。

1.2.1 GPU

1.2.1.1 GPU簡介

GPU 即圖形處理器，最初是用來做圖像運算的微處理器。GPU 優化和調整了CPU 結構，使其運算速度突飛猛進，擁有了更強大的處理浮點運算的能力。2009 年，斯坦福大學的吳恩達及其團隊發現GPU 芯片可以并行運行神經網絡。用GPU來運行機器學習模型，同樣的大訓練集，GPU在耗費功率更低、占用基礎設施更少的情況下能夠支持遠比單純使用CPU時10-100倍的應用吞吐量。因此GPU已經成為數據科學家處理大數據的處理器。

1.2.1.2 GPU行業現狀

目前國際GPU市場被NVIDIA 和AMD 兩大公司瓜分，全球GPU 行業的市場份額有超過70％被NVIDIA占據，而應用在人工智能領域的可進行通用計算的GPU 市場則基本被NVIDIA壟斷。目前公司已與谷歌、微軟、IBM、豐田、百度等多家嘗試利用深度神經網絡來解決海量復雜計算問題的企業建立和合作關系。NVIDIA與下游客戶在深度學習領域的合作不斷加深，已經開發出多款針對深度學習的GPU產品。從產品成熟度、生態圈的規模角度而言，NVIDIA的GPU 已具備統治性的地位。

中國在GPU芯片設計領域起步較晚，目前只有景嘉微和兆芯兩家掌握核心技術的公司正在逐步打破國外芯片在我國GPU市場的壟斷局面，但產品還是主要用于GPU最初的圖形顯控領域，距人工智能所需要的GPU技術還有很遠的距離。

1.2.2 FPGA

1.2.2.1 FPGA簡介

FPGA，即場效可編程邏輯閘陣列，最初是從專用集成電路上發展起來的半定制化的可編程電路，FPGA 還具有靜態可重復編程和動態在系統重構的特性，使得硬件的功能可以像軟件一樣通過編程來修改，不同的編程數據在同一片FPGA上可以產生不同的電路功能，具有很強的靈活性和適應性。

FPGA 和GPU 內都有大量的計算單元，因此它們的計算能力都很強。在進行神經網絡運算的時候，兩者的速度會比CPU 快很多。但是GPU 由于架構固定，硬件原生支持的指令也就固定了，而FPGA 則是可編程的。其可編程性是關鍵，因為它讓軟件與終端應用公司能夠提供與其競爭對手不同的解決方案，并且能夠靈活地針對自己所用的算法修改電路。與GPU相比，FPGA具有性能高、能耗低及可硬件編程的特點。

1.2.2.2 FPGA行業現狀

目前FPGA 整個市場被國外的兩大巨頭所寡占，據東方證券研究所數據顯示，Xilinx 和Altera 占了近90%的份額，合計專利達到6000多項，剩余份額被Lattice和Microsemi兩家占據，兩家專利合計共有超過3000項。技術專利的限制和漫長的開發周期使得FPGA行業有著極高的壁壘。

盡管我國政府多年來在此領域投入了數百億的科研經費，但FPGA的專利限制及技術門檻使得中國FPGA的研發之路十分艱辛，國內如同創國芯、京微雅格、高云等公司在FPGA研發方面已獲得一定進展，但產品性能、功耗、容量和應用領域上都同國外先進技術存在著較大差距。當前國內部分資本已經試圖走出國門，通過并購半導體類公司的方法進入FPGA的行業，實現彎道超車。

1.2.3 ASIC

1.2.3.1 ASIC簡介

ASIC，即專用集成電路，是指應特定用戶要求或特定電子系統的需要而設計、制造的集成電路。ASIC 作為集成電路技術與特定用戶的整機或系統技術緊密結合的產物，與通用集成電路相比，具有以下幾個方面的優越性：體積更小、功耗更低、可靠性提高、性能提高、保密性增強。FPGA一般來說比ASIC的速度要慢，而且無法完成更復雜的設計，并且會消耗更多的電能，因此就算力而言ASIC遠優于FPGA；但ASIC的專用特點使得其生產成本很高，如果出貨量較小，則采用ASIC在經濟上不太實惠。一旦人工智能技術成熟，ASIC專用集成的特點反而會達到規模效應，較通用集成電路而言，成本大大降低。

當前ASIC 在人工智能深度學習方面的應用還不多，但是我們可以拿比特幣礦機芯片的發展做類似的推理。比特幣挖礦和人工智能深度學習有類似之處，都是依賴于底層的芯片進行大規模的并行計算。比特幣礦機的芯片經歷了四個階段：CPU、GPU、FPGA 和ASIC。其中ASIC 在比特幣挖礦領域，展現出了得天獨厚的優勢。隨著人工智能越來越多的應用在各個領域并表現出優越的性能，長期來看ASIC大有可為。

1.2.3.2 ASIC市場現狀

隨著人工智能的興起，科技巨頭紛紛布局芯片制造。高通、AMD、ARM、Intel和NVIDIA都在致力于將定制化芯片整合進它們的現有解決方案中。Nervana 和 Movidius（目前都在Intel旗下）據說正在開發集合方案。ASIC中較為成熟的產品是谷歌針對AlphaGo研發的TPU。第一代TPU產品由谷歌在2016年I/O大會上正式推出，今年5月的開發者I/O大會上，谷歌正式公布了第二代TPU，又稱Cloud TPU，相較于初代TPU，既能用于訓練神經網絡，又可以用于推理，浮點性能方面較傳統的GPU提升了15倍。

ASIC在人工智能領域的應用起步較晚，國內外水平相差不大。目前國內已有數家公司致力于人工智能相關ASIC芯片研究，代表公司為地平線機器人、中科寒武紀與中星微電子。其中地平線機器人公司作為初創企業，致力于打造基于深度神經網絡的人工智能“大腦”平臺-包括軟件和芯片，可以做到低功耗、本地化的解決環境感知、人機交互、決策控制等問題。其關于芯片的研發目前還未成熟。中科寒武紀和中星微電子則已經有了相對成熟的產品。寒武紀芯片專門面向深度學習技術，研制了國際首個深度學習專用處理器芯片NPU，目前已研發的三款芯片分別面向神經網絡的原型處理器結構、大規模神經網絡和多種機器學習算法，預計將于2018年實現芯片的產業化。中星微電子于2016年6月推出中國首款嵌入式神經網絡處理器（NPU）芯片，這是全球首顆具備深度學習人工智能的嵌入式視頻采集壓縮編碼系統級芯片。這款基于深度學習的芯片運用在人臉識別上，最高能達到98%的準確率，超過人眼的識別率。該芯片于2017年3月6日實現量產，截止到今年5月出貨量為十幾萬件。

1.2.4 類人腦芯片

1.2.4.1 類人腦芯片簡介

類人腦芯片是一種基于神經形態工程、借鑒人腦信息處理方式，旨在打破“馮·諾依曼”架構束縛，適于實時處理非結構化信息、具有學習能力的超低功耗新型計算芯片。從理論上來看，類人腦芯片更加接近于人工智能目標的芯片，力圖在基本架構上模仿人腦的工作原理，使用神經元和突觸的方式替代傳統架構體系，使芯片能夠進行異步、并行、低俗和分布式處理信息數據的能力，同時具備自護感知、識別和學習的能力。

1.2.4.2 類人腦芯片市場現狀

類人腦芯片是人工智能芯片發展的重點方向。目前各國政府及科技巨頭都在大力推動類人腦芯片的研發進程，包括美國、日本、德國、英國、瑞士等發達國家已經制定相應的發展戰略，中國的類人腦科學研究項目目前也已經正式啟動。當前世界上已有一批科技公司走在前列，在類人腦芯片研發中取得了突破，代表產品包括IBM的TrueNorth芯片、高通Zeroth芯片、谷歌的“神經網絡圖靈機”等。

（二）AI技術層

AI技術層主要著眼于算法、模型及可應用技術。按照智能程度不同，人工智能可分為運算智能、感知智能、認知智能三個階段。運算智能，即快速計算和記憶存儲能力，在這一階段主要是算法與數據庫相結合，使得機器開始像人類一樣會計算和傳遞信息； 感知智能，即視覺、聽覺、觸覺等感知能力，在這一階段，數據庫與淺層學習算法結合，使得機器開始看懂和聽懂，并做出判斷、采取行動；認知智能，即能理解會思考的能力，這一階段主要是采用深度學習算法，使得機器能夠像人一樣思考，主動采取行動。

AI技術層可以分為框架層和算法層，其中框架層指TensorFlow，Caffe，Theano，Torch，DMTK，DTPAR，ROS等框架或操作系統，算法層指的是對數據的處理方法。

根據數據類型的不同，對一個問題會采用不同的建模方式，即學習方式。按照學習方式來分類，人工智能算法可以分為傳統機器學習和神經網絡算法，其中傳統機器學習又可細分為監督式學習、非監督式學習、半監督式學習、強化學習。

2.1 傳統機器學習

2.1.1 監督式學習

在監督式學習下，輸入數據被稱為“訓練數據”，每組訓練數據有一個明確的標識或結果，如對防垃圾郵件系統中“垃圾郵件”“非垃圾郵件”，對手寫數字識別中的“1“，”2“，”3“，”4“等。在建立預測模型的時候，監督式學習建立一個學習過程，將預測結果與“訓練數據”的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。監督式學習的常見應用場景如分類問題和回歸問題。常用算法有回歸算法、樸素貝葉斯、SVM等。

2.1.2 非監督式學習

在非監督式學習中，數據并不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。關聯規則學習的常見算法主要為Apriori算法及其拓展算法，聚類的常用算法有k-Means算法及其相似算法。

2.1.3 半監督式學習

在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，算法包括一些對常用監督式學習算法的延伸，這些算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。

2.1.4 強化學習

在此學習模式下，輸入數據作為對模型的反饋，不像監督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態系統以及機器人控制等。常見算法包括Q-Learning以及時間差學習（Temporal difference learning）。

2.2 神經網絡

人工神經網絡是模擬生物神經網絡，由眾多的神經元可調的連接權值連接而成，具有大規模并行處理、分布式信息存儲、良好的組織學習能力特點，并通過一定學習準則進行學習，進而建立相關模型，解決一定工作。在人工神經網絡的學習算法設計方面，一般對人工神經網絡進行大量的數據訓練和調整，不斷修正各層級節點參數，通過不斷學習使得人工神經網絡具有初步的自適應能力和自我組織能力及較強的泛化能力，進而較快適應周邊環境要求，基于其眾多優點，人工神經網絡已然成為人工智能算法的核心。深度學習算法是人工神經網絡當前最新算法，其實質是通過很多隱層的機器學習模型和海量的訓練數據來學習更有用的特征，從而提升分類或預測的準確性。

（三）AI應用層

人工智能的應用主要是采用了“AI+垂直行業”的方式滲透到傳統各行業，按發展層次的不同可以分為專用人工智能、通用人工智能和超級人工智能三個層次。其中，專用人工智能以一個或多個專門的領域和功能為主；通用人工智能即機器與人類一樣擁有進行所有工作的可能，關鍵在于自動地認知和拓展；超級人工智能是指具有自我意識，包括獨立自主的價值觀、世界觀等，目前僅存在于文化作品構想中。

按應用技術類型進行劃分，人工智能的應用技術可以分為計算機視覺、機器學習、自然語言處理和機器人四塊。

3.1 計算機視覺

計算機視覺，是指計算機從圖像中識別出物體、場景和活動的能力。計算機視覺技術運用由圖像處理操作及其他技術所組成的序列來將圖像分析任務分解為便于管理的小塊任務目前計算機視覺主要應用在人臉識別、圖像識別方面（包括靜態、動態兩類信息）。

人臉識別，亦叫人像識別、面部識別，是基于人的臉部特征信息進行身份識別的一種生物識別技術。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行處理的一系列相關技術。

圖像識別，是計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術。識別過程包括圖像預處理、圖像分割、特征提取和判斷匹配。由于動態監測與識別的技術限制，靜態圖像識別與人臉識別的研究暫時處于領先位置。

當前國外科技巨頭自行研發和收購雙管齊下布局計算機視覺領域，將技術廣泛用于自身產品升級，并基于自身基因打造技術服務平臺和新品類持續提升影響力。中國國內BAT都已紛紛布局相關領域，并基于自身產品進行功能研發。百度相對更加激進，成立了獨立風投公司，專注于AI早期投資。

除BAT三巨頭外，國內也有不少初創公司涉足計算機視覺技術，主要聚焦于技術應用。其中典型代表當屬曠視科技。公司成立于2012年11月，公司專注于人臉識別技術和相關產品應用研究，面向開發者提供服務，能提供一整套人臉檢測、人臉識別、人臉分析以及人臉3D技術的視覺技術服務，主要通過提供云端API、離線SDK、以及面向用戶的自主研發產品形式，將人臉識別技術廣泛應用到互聯網及移動應用場景中。Face++通過和眾多互聯網公司合作，并通過“脫敏”技術掌握到了500萬張人臉圖片數據庫，在互聯網圖片人臉識別LFW的準確率達到99.6%，合作伙伴包括阿里、360等一批大型的圖片、社交、設備類企業。

當前國內計算機視覺創業熱度不斷提高，iiMedia Research(艾媒咨詢)數據顯示， 中國人工智能創業公司所屬領域分布中，計算機視覺領域擁有最多創業公司，高達35家。 

3.2 機器學習

機器學習是指計算機通過對大量已有數據的處理分析和學習，從而擁有預測判斷和做出最佳決策的能力。其核心在于，機器學習是從數據中自動發現模式，模式一旦被發現便可用于做預測。

機器學習的應用范圍非常廣泛，針對那些產生龐大數據的活動，它幾乎擁有改進一切性能的潛力。除了欺詐甄別之外，這些活動還包括銷售預測、庫存管理、石油和天然氣勘探、以及公共衛生。機器學習技術在其他的認知技術領域也扮演著重要角色，比如計算機視覺，它能在海量圖像中通過不斷訓練和改進視覺模型來提高其識別對象的能力。

現如今，機器學習已經成為認知技術中最炙手可熱的研究領域之一，在2011-2014年中這段時間內就已吸引了近十億美元的風險投資。谷歌也在2014年斥資4億美金收購Deepmind這家研究機器學習技術的公司。目前國內機器學習相關企業數量相對較少。BAT在機器學習方面有著先天的優勢，國內初創公司第四范式是基于機器學習的解決方案提供商。 

3.3 自然語言處理

自然語言處理就是用人工智能來處理、理解以及運用人類語言，通過建立語言模型來預測語言表達的概率分布，從而實現目標。

自然語言處理技術在生活中應用廣泛，例如機器翻譯、手寫體和印刷體字符識別、語音識別后實現文字轉換、信息檢索、抽取與過濾、文本分類與聚類、輿情分析和觀點挖掘等。它們分別應用了自然語言處理當中的語法分析、語義分析、篇章理解等技術，是人工智能界最前沿的研究領域。時至今日AI在這些技術領域的發展已經把識別準確率從70%提高到了90%以上，但只有當準確率提高到99%及以上時，才能被認定為自然語言處理的技術達到人類水平。

在資本與產業助力之下，我國人工智能的語音識別技術已處于國際領先水平，技術成熟，通用識別率上，各企業均維持在了95%左右的水平。類似百度、科大訊飛等上市公司憑借深厚的技術和數據積累在市場上占據前列，且通過軟硬件服務的開發不斷進化著自身的服務能力。在科大訊飛之后發布國內第二家“語音識別公有云”的云知聲在各項通用語音服務技術的提供上也占據著不小的市場空間。除此之外，依托中科院自動化所的紫冬銳意和納象立方以及有著海外背景的蘇州思必馳在教育領域的語音識別上占據著領先的位置。

3.4 機器人

將機器視覺、自動規劃等認知技術整合至極小卻高性能的傳感器、致動器、以及設計巧妙的硬件中，這就催生了新一代的機器人，它有能力與人類一起工作，能在各種未知環境中靈活處理不同的任務。

目前世界上至少有48個國家在發展機器人，其中25個國家已涉足服務型機器人開發。在日本、北美和歐洲，迄今已有7種類型計40余款服務型機器人進入實驗和半商業化應用在服務機器人領域。美國是機器人的發源地，美國的機器人技術在國際上仍一直處于領先地位，其技術全面、先進，適應性十分強，在軍用、醫療、家用服務機器人產業都占有絕對的優勢，占服務機器人市場約60%的份額。國內智能機器人行業的研發主要集中于家庭機器人、工業/企業服務和智能助手三個方面。其中工業及企業服務類的機器人研發企業依托政策背景和市場需求處于相對領先的發展階段。然而在中國涉足智能機器人的企業中，從事家庭機器人和智能助手研發的企業占據了絕大多數比例。

因為服務一般都要結合特定市場進行開發，本土企業更容易結合特定的環境和文化進行開發占據良好的市場定位，從而保持一定的競爭優勢；另一方面，外國的服務機器人公司也屬于新興產業，大部分成立的時候還比較短，因而我國的服務機器人產業面臨著比較大的機遇和可發展空間。