小西：小迪小迪，我發現人工智能發展史上很多事情都跟下棋有關吶。

小迪：是啊，人工智能發展史還是要從下棋說起，棋類游戲很多時候都被人類看做高智商游戲，在棋類游戲中讓機器與人類博弈自然再好不過了。早在1769年，匈牙利作家兼發明家Wolfgang von Kempelen就建造了機器人TheTurk，用于與國際象棋高手博弈，但是最終被揭穿，原來是機器人的箱子里藏著一個人。雖然這是個騙局，但是也體現了棋類游戲是人機博弈中的焦點。

小西：哇，這么早??！

小迪：是啊，在1968年上映的電影《2001太空漫游》里，有個情節是機器人HAL與人類Frank下國際象棋，最終人類在機器人面前甘拜下風。

小西：哈哈，看來很早人們就覺得有一天，機器人會在下棋方面超過人類哦。

小迪：是啊，直到1997年，IBM的深藍智能系統戰勝了國際象棋世界冠軍Kasparov，這是一次正式意義上的機器在國際象棋領域戰勝了人類。不過，當時時代雜志發表的文章還認為，計算機想要在圍棋上戰勝人類，需要再過上一百年甚至更長的時間。因為圍棋相比于國際象棋復雜很多，而IBM的深藍也只是一個暴力求解的系統，當時的計算機能力在圍棋千千萬萬種變化情況下取勝是不可能的。

小西：后來我知道。沒有過100年，20年后AlphaGo在20年后的2016年打敗了圍棋高手李世石，這下人工智能引起了全世界的關注。

小迪：恭喜你，學會搶答了！

小西：哈哈，過獎過獎。除了下棋，人工智能發展史上有沒有什么特別著名的事件或者有名的大師呢，快給我科普科普呀！

小迪：那可就太多了啊，無數科學家默默地耕耘才有了今天智能化的社會，三天三夜都說不完。我就說說近些年火爆的深度學習的發展史吧。

小西：好，洗耳恭聽呢！

感知器的發明

1943年Warren McCulloch和Walter Pitts一起提出計算模型，在1957年康奈爾大學的Frank Rosenblatt提出了感知器的概念，這是整個深度學習的開端，感知器是第一個具有自組織自學習能力的數學模型。Rosenblatt樂觀地預測感知器最終可以學習，做決定和翻譯語言。感知器技術在六十年代非?；馃?，受到了美國海軍的資金支持，希望它以后能夠像人一樣活動，并且有自我意識。

第一次低潮

Rosenblatt有一個高中校友叫做Minsky，在60年代，兩人在感知器的問題上吵得不可開交。R認為感知器將無所不能，M覺得感知器存在很大的缺陷，應用有限。1969年，Minsky出版了新書《感知器：計算幾何簡介》，這本書中描述了感知器的兩個重要問題：

• 單層神經網絡不能解決不可線性分割的問題，典型例子：異或門；當時的電腦完全沒有能力承受神經網絡的超大規模計算。

隨后的十多年，人工智能轉入第一次低潮，而Rosenblatt也在他43生日時，因海事喪生，遺憾未能見到神經網絡后期的復興。

Geoffrey Hinton與神經網絡

1970年，此時的神經網絡正處于第一次低潮期，愛丁堡大學的心理學學士Geoffrey Hinton剛剛畢業。他一直對腦科學非常著迷，同學告訴他，大腦對事物和概念的記憶，不是存儲在某個單一的地方，而是分布式的存在一個巨大的神經網絡中。分布式表征讓Hinton感悟很多，隨后的多年里他一直從事神經網絡方面的研究，在愛丁堡繼續攻讀博士學位的他把人工智能作為自己的研究領域。

Rumelhart與BP算法

傳統的神經網絡擁有巨大的計算量，上世紀的計算機計算能力尚未能滿足神經網絡的訓練。1986年7月，Hinton和David Rumelhart合作在Nature雜志上發表論文系統地闡述了BP算法：

• 反向傳播算法（BP）把糾錯運算量下降到只和神經元數目有關；BP算法在神經網絡中加入隱層，能夠解決非線性問題。

BP算法的效率相比傳統神經網絡大大提高，計算機的算力在上世紀后期也大幅提高，神經網絡開始復蘇，引領人工智能走向第二次輝煌。

Yann Lecun與卷積神經網絡

1960年Yann Lecun在巴黎出身，在法國獲得博士學位后，追隨Hinton做了一年博士后，隨后加入貝爾實驗室。在1989年，Lecun發表論文提出卷積神經網絡，并且結合反向傳播算法應用在手寫郵政編碼上，取得了非常好的效果，識別率高達95%?；谶@項技術的支票識別系統在90年代占據了美國接近20%的市場。

但也是在貝爾實驗室，Yann Lecun的同事Vladmir Vapnik的研究又把神經網絡的研究帶入了第二個寒冬。

Hinton與深度學習

2003年，Geoffrey Hinton在多倫多大學苦苦鉆研著神經網絡。在與加拿大先進研究院（CIFAR）的負責人Melvin Silverman交談后，負責人決定支持Hinton團隊十年來進行神經網絡的研究。在拿到資助后，Hinton做的第一件事就是把神經網絡改名為深度學習。此后的一段時間里，同事經常會聽到Hinton在辦公室大叫：“我知道神經網絡是如何工作的了！”

DBN與RBN

2006年Hinton與合作者發表論文——《A Fast Algorithm for Deep BeliefNet》（DBN）。這篇文章中的算法借用了統計力學中“波爾茲曼分布”的概念，使用了所謂的“受限玻爾茲曼機”，也就是RBN來學習。而DBN也就是幾層RBN疊加在一起。RBN可以從輸入數據進行預訓練，自己發現重要的特征，對神經網絡的權重進行有效的初始化。這里就出現了另外兩個技術——特征提取器與自動編碼器。經過MNIST數據集的訓練后，識別錯誤率最低降到了只有1.25%。

吳恩達與GPU

2007年，英偉達推出cuda的GPU軟件接口，GPU編程得以極大發展。2009年6月，斯坦福大學的Rajat Raina和吳恩達合作發表文章，論文采用DBNs模型和稀疏編碼，模型參數高達一億，使用GPU運行速度訓練模型，相比傳統雙核CPU最快時相差70倍，把本來需要幾周訓練的時間降到了一天。算力的進步再次加速了人工智能的快速發展。

黃仁勛與GPU

黃仁勛也是一名華人，1963年出生于臺灣，在1993年于斯坦福畢業后創立了英偉達公司，英偉達起家時主要做圖像處理芯片，后來黃仁勛發明GPU這個詞。相比于CPU架構，GPU善于大批量數據并行處理。而神經網絡的計算工作，本質上就是大量的矩陣計算的操作，GPU的發展為深度學習奠定了算力的基礎。

李飛飛與ImageNet

深度學習的三大基礎——算法，算力和數據。上面提到的主要是算法與算力的發展，而數據集在深度學習發展也起到了至關重要的作用。又是一位華人學者——李飛飛，于2009年建立ImageNet數據集，以供計算機視覺工作者使用，數據集建立的時候，包含320個圖像。2010年，ILSVRC2010第一次舉辦，這是以ImageNet為基礎的大型圖像識別大賽，比賽也推動了圖像識別技術的飛速發展。2012年的比賽，神經網絡第一次在圖像識別領域擊敗其他技術，人工智能步入深度學習時代，這也是一個歷史性的轉折點。

Yoshua Bengio與RELU

2011年，加拿大學者Xavier Glorot與Yoshua Bengio聯合發表文章，在算法中提出一種激活函數——RELU，也被稱為修正線性單元，不僅識別錯誤率普遍降低，而且其有效性對于神經網絡是否預訓練過并不敏感。而且在計算力方面得到提升，也不存在傳統激活函數的梯度消失問題。

Schmidhuber與LSTM

其實早在1997年，瑞士Lugano大學的Suhmidhuber和他的學生合作，提出了長短期記憶模型（LSTM）。LSTM背后要解決的問題就是如何將有效的信息，在多層循環神經網絡傳遞之后，仍能傳送到需要的地方去。LSTM模塊，是通過內在參數的設定，決定某個輸入參數在很久之后是否還值得記住，何時取出使用，何時廢棄不用。

后記

小迪：其實還有好多有突出貢獻的的大師，要是都列出來可以出一本很厚很厚的書啦！

小西：這些大師都好厲害呀，為了我們的智能化生活體驗，辛勤付出了一輩子。

小迪：是啊，還有很多學者默默無聞地工作，一生清苦。

小西：他們都好偉大，有突出貢獻的都應該發獎發獎金，對對對，諾貝爾獎！

小迪：哈哈。諾貝爾獎多數是為基礎學科設立的。不過計算機界也有“諾貝爾獎”——圖靈獎，這可是計算機界最高獎項哦！2019年3月27日，ACM宣布，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同獲得了2018年的圖靈獎。

小西：太棒了，實至名歸！

小迪：當然，圖靈獎在此之前也授予了很多在人工智能領域的大牛，像Minsky，John McCarthy這些，還有華人科學家，現在在清華大學任職從事人工智能教育的姚期智先生在2000也獲得過圖靈獎呢！

小西：大師們太不容易了，我們也要好好學習呀！

小迪：是呀！如今我們站在巨人的肩膀上，許多人都可以接觸到深度學習，機器學習的內容，不管是工業界還是學術界，人工智能都是一片火熱！

小西：希望這一輪人工智能的興起不會有低潮，一直蓬勃發展下去，更好地造福人類。

小迪：嗯！