盡管深度學習在人工智能領域做出了巨大貢獻，但它還是有一個不太好的地方：它需要大量數據。這是深度學習的先驅者和批評家都同意的一件事。實際上，由于有用數據的有限可用性有限以及處理該數據的計算能力不足，深度學習直到幾年前才成為領先的AI技術。

減少深度學習的數據依賴性是目前AI研究人員的首要任務之一。

在AAAI（ the Association for the Advance of Artificial Intelligence ）會議上的主題演講中，計算機科學家Yann LeCun討論了當前深度學習技術的局限性，并提出了“自我監督學習”的藍圖，這是他解決深度學習數據問題的路線圖。LeCun是深度學習的教父之一，也是卷積神經網絡（CNN）的發明者，而CNN是在過去十年中引發人工智能革命的關鍵因素之一。

自監督學習是創建數據高效人工智能系統的幾種計劃之一。在這一點上，很難預測哪種技術將成功引發下一次AI革命。

深度學習的局限性

首先，LeCun澄清了一個問題，通常所說的深度學習的局限性實際上是監督學習的局限性。監督學習是一類需要標注訓練數據的機器學習算法。例如，如果你想創建一個圖像分類模型，你必須在大量的已經用適當的類進行了標記的圖像上訓練它。

深度學習不只是神經網絡，它是通過將參數化的模塊組裝到計算圖中來構建系統的，你可以不直接對系統進行編程。你定義架構，然后調整的那些些參數，深度學習可以應用于不同的學習范式，包括監督學習，強化學習以及無監督或自我監督學習。

但是，圍繞深度學習和監督學習的困惑并非沒有道理。目前，已進入實際應用的大多數深度學習算法都基于監督學習模型，這充分說明了AI系統當前的缺點。我們每天使用的圖像分類器，面部識別系統，語音識別系統以及許多其他AI應用程序已經在數百萬個帶有標簽的示例中進行了訓練。

到目前為止，強化學習和無監督學習是學習算法的其他類別，其應用非常有限。

深度學習今天站在哪里？

有監督的深度學習給了我們很多非常有用的應用，特別是在計算機視覺和自然語言處理的一些領域。深度學習在諸如癌癥檢測等敏感應用中有發揮著越來越重要的作用。它也被證明在一些領域非常有用，在這些領域，問題的復雜性已經超出了人類努力的范圍，例如在每天審查社交媒體上發布的大量內容時需要注意的一些問題。

但如前所述，監督學習僅適用于有足夠高質量數據且數據可以捕獲所有可能場景的情況。一旦經過訓練的深度學習模型面對不同于其訓練示例的新穎示例，它們就會開始以不可預知的方式表現。在某些情況下，從一個稍微不同的角度顯示一個對象可能足以混淆一個神經網絡，使之誤認為它與其他東西。

深度強化學習在游戲和模擬中顯示出顯著成果。在過去的幾年中，強化學習已經征服了許多以前認為不能融入人工智能的游戲。人工智能程序已經淘汰了《星際爭霸2》，《刀塔》和中國古代棋盤游戲《圍棋》中的人類世界冠軍。

但是這些AI程序學習解決問題的方式與人類完全不同?；旧?，強化學習代理從空白開始，僅提供在其環境中可以執行的一組基本操作。然后，讓AI自己進行嘗試，通過反復試驗來學習如何產生最大的回報（例如，贏得更多的游戲）。

當問題空間很簡單并且你具有足夠的計算能力來運行盡可能多的反復試驗時，該模型就可以使用。在大多數情況下，強化學習代理會花費大量的時間來掌握游戲。巨大的成本將強化學習研究限制在富裕的科技公司或擁有資助的研究實驗室內。

強化學習系統在遷移學習中表現得很差。一個在大師級玩星際爭霸2的機器人如果想玩魔獸爭霸3，需要從頭開始訓練。事實上，即使星際爭霸游戲環境的微小變化也會極大地降低人工智能的性能。相比之下，人類非常擅長從一個游戲中提取抽象概念并將其轉移到另一個游戲中。

當強化學習想要學習解決現實世界中無法精確模擬的問題時，它確實顯示出它的局限性。如果你想訓練汽車自己駕駛呢？很難精確地模擬這一過程，如果我們想在現實生活中做到這一點，我們就必須摧毀許多汽車。而且與模擬環境不同，現實生活不允許你快速進行實驗，如果可能的話，并行實驗將導致更大的成本。

深度學習的三個挑戰

LeCun將深度學習的挑戰分為三個領域。

首先，我們需要開發可以通過更少的樣本或更少的試驗學習的AI系統。LeCun說：“我的建議是使用無監督學習，或者我更喜歡將其稱為自我監督學習，因為我們使用的算法確實類似于監督學習，它基本上是學習填補空白?！?。這是在學習任務之前學習代表世界的理念。嬰兒和動物就是這樣做的。我們在學習任何任務之前先了解世界如何運轉。一旦我們對世界有了良好的描述，學習一項任務就需要很少的試驗和很少的樣本。

嬰兒在出生后的幾個月里就會發展出重力，尺寸和物體持續性的概念。雖然人們對這些能力中有多少是硬連接到大腦中的，有多少是學習到的還存在爭議，但可以肯定的是，我們僅僅通過觀察周圍的世界就發展出了許多能力。

第二個挑戰是創建可以推理的深度學習系統。眾所周知，當前的深度學習系統在推理和抽象上很差，這就是為什么它們需要大量數據來學習簡單任務的原因。

問題是，我們如何超越前饋計算和系統1？我們如何使推理與基于梯度的學習兼容？我們如何使推理具有差異性？

系統1是不需要主動思考的學習任務，例如導航已知區域或進行少量計算。系統2是一種較為活躍的思維方式，需要推理。事實證明，象征人工智能（AI的經典方法）在推理和抽象方面要好得多。

但是LeCun并不建議像其他科學家所建議的那樣回到象征性AI或混合人工智能系統。他對人工智能未來的愿景與另一位深度學習先驅Yoshua Bengio更為一致，Yoshua Bengio在NeurIPS 2019引入了system 2深度學習的概念，并在AAAI 2020進一步討論了這一概念。然而，LeCun承認沒有人有一個完全正確的答案，但是這種方法會將使深度學習系統能夠推理。

第三個挑戰是創建深度學習系統，該系統可以精簡和計劃復雜的操作序列，并將任務分解為子任務。深度學習系統擅長為問題提供端到端的解決方案，但很難將它們分解為具體的可解釋和可修改的步驟。在創建基于學習的人工智能系統方面已經取得了一些進展，該系統可以分解圖像、語音和文本。Geoffry Hinton發明的膠囊網絡就是其中之一并且解決了其中一些挑戰。

但是學會推理復雜的任務已經超出了當今的人工智能。LeCun承認我們不知道如何做到這一點。

自我監督學習

自我監督學習背后的想法是開發一種可以學習填補空白的深度學習系統。

你向系統顯示輸入，文本，視頻甚至圖像，然后選擇其中的一部分，將其屏蔽，然后訓練神經網絡或您喜歡的類或模型來預測缺失的部分。這可能是視頻處理的未來，也可能是填補文本中缺少的單詞的方式。

我們最接近自我監督學習系統的是Transformers，該體系結構已在自然語言處理中被證明非常成功。Transformers不需要標記的數據。他們接受過大量非結構化文本的培訓，例如Wikipedia文章。在生成文本，進行對話和回答問題方面，他們已被證明比之前的系統要好得多，但是他們距離真正理解人類語言還有很遠的距離。

Transformers已經非常流行，并且是幾乎所有最新語言模型的基礎技術，包括Google的BERT，Facebook的RoBERTa，OpenAI的GPT2和Google的Meena聊天機器人。

最近，AI研究人員證明了Transformers可以執行積分并求解微分方程，這是需要符號操縱的問題。這可能暗示著Transformers的發展可能使神經網絡超越模式識別和統計近似任務。

到目前為止，Transformers已經證明了在處理謹慎的數據（例如單詞和數學符號）方面的價值。訓練這樣的系統很容易，雖然可能遺漏哪個單詞，存在一些不確定性，但是我們可以用整個字典中的巨大概率矢量來表示這種不確定性，所以這不是問題。

但是，Transformers的成功尚未轉移到視覺數據領域。事實證明，在圖像和視頻中表示不確定性和預測要比在文本中表示不確定性和預測要困難得多，因為它不是離散的。我們可以產生字典中所有單詞的分布，但我們不知道如何表示所有可能的視頻幀的分布。

對于每個視頻片段，都有無數可能的未來。這使得人工智能系統很難預測一個單一的結果，比如視頻中接下來的幾幀。神經網絡最終會計算出可能結果的平均值，從而導致輸出模糊。

如果要將自我監督的學習應用于視頻等多種形式，這是我們必須解決的主要技術問題。

LeCun最喜歡的用于監督學習的方法就是他所說的“基于能量的潛在變量模型”。關鍵思想是引入一個潛在變量Z，該變量Z計算變量X（視頻中的當前幀）和預測Y（視頻的未來）之間的兼容性，并選擇具有最佳兼容性得分的結果。LeCun在演講中進一步闡述了基于能量的模型和其他自我監督學習方法。

深度學習的未來不受監督

“我認為自我監督學習是未來。這將使我們的AI系統，深度學習系統更上一層樓，也許可以通過觀察來了解有關世界的足夠背景知識，從而可能出現某種常識?！?LeCun在AAAI會議演講中說。

自我監督學習的主要好處之一是AI輸出的信息量巨大。在強化學習中，訓練AI系統是在標量級別執行的；該模型會收到一個數值作為對其行為的獎勵或懲罰。在監督學習中，AI系統為每個輸入預測一個類別或數值。

在自我監督學習中，輸出將改善為整個圖像或一組圖像。這是更多的信息。了解有關世界的相同知識，您需要的樣本更少。

我們仍然必須弄清楚不確定性問題是如何工作的，但是當解決方案出現時，我們將解鎖AI未來的關鍵組成部分。

如果說人工智能是一塊蛋糕，那么自我監督學習就是其中的主要內容。人工智能的下一輪革命將不會受到監督，也不會得到純粹的加強。

原文鏈接： https://bdtechtalks.com/2020/03/23/yann-lecun-self-supervised-learning/