出品 | CDA數據科學研究院

美國陸軍坦克大隊再次在中東作戰。它的坦克最近配備了基于計算機視覺的瞄準系統，該系統采用了遙控無人機作為偵察兵。不幸的是，敵軍欺騙了視覺系統，認為手榴彈閃光實際上是大炮射擊。坦克操作員向兩英里外的戰友開火。盡管美軍贏得了戰斗，但他們損失了6名士兵，5輛坦克和5輛戰車-全部來自友軍大火。旅長說：“我們的裝備致命，沒有錯誤的余地?！?/span>

這個故事是基于真實事件的。所涉及的坦克沒有自動計算機視覺系統，但總有一天會有。

欺騙與戰爭本身一樣古老。到目前為止，欺騙行動的目標一直是人類。但是，機器學習和人工智能的加入為目標機器開辟了一個全新的機會，欺騙人們。我們正在看到一個新的，不斷擴大的欺騙時代。

機器學習的飛速發展使得能夠創建民用和軍用的新技術，從視頻和文本分類到復雜的數據分析和決策。但是，急于實施和部署包含高級機器學習組件的不安全系統會帶來危險的漏洞，邪惡的行為者會以我們才剛剛開始了解的方式利用這些漏洞。機器學習技術最有希望的應用是決策支持系統，其中生命關鍵的決策基于對大量數據的快速分析。將欺騙手段引入這種類型的系統可能會帶來災難性的后果，例如引起友好的射擊或將部隊送入伏擊。成長中對機器學習的依賴及其對欺騙的敏感性對軍事行動具有深遠的影響。

機器學習系統中的漏洞

必須認識到機器學習技術中的固有漏洞是國家級的關鍵問題，應引起國家級的重視。盡管似乎不可能消除所有漏洞，但可以緩解這些漏洞。例如，一種基本的緩解技術是確保操作員對系統的行為有清晰連續的了解，以便在出現問題時進行某種類型的手動操作。作為另一個示例，在旨在學習和適應其環境的系統中，應在運行期間進行連續測試，以確保系統不會偏離軌道。還應該要求操作人員進行定期觀察或與系統交互，以防止操作人員陷入錯誤的安全感。研究機器學習系統的安全性可能并不流行，但是與實現它們的承諾一樣重要。機器學習的核心存在一個漏洞-操作員可能知道要編程學習什么系統，但是他們根本無法確定機器學習系統實際學習了什么。這使得該漏洞無法完全解決。

盡管可以通過不同的方式攻擊機器學習技術，但是所有人都試圖將系統欺騙成誤解，誤分類或錯誤的決策分析。檢測和反欺騙的工作還處于早期階段，目前缺乏扎實的理論基礎。

機器學習不安全的軍事意義

機器學習漏洞對國防部具有根本和深遠的影響。五角大樓正在大力推動將機器學習整合到整個運營過程中，以對抗主要競爭對手。這項工作始于2017年4月算法戰爭跨職能團隊的建立。該團隊的目標是使用AI和機器學習技術來高速理解和整合來自不同來源的大量數據。高度自動化的數據收集和處理以最大程度地減少決策周期的愿景具有吸引力，并且具有使美國的技術領先于復雜對手的潛力。

在圍繞機器學習的希望和大肆宣傳之下，攻擊者之間不斷展開激烈的競爭，他們不斷尋找新的方法來愚弄，逃避和誤導機器學習系統，而防御者則試圖找到盲點并消除漏洞。由于機器學習系統固有的漏洞，這種動態將一直存在。實際上，隨著機器學習接管越來越多的任務，肯定會出現新的漏洞。

考慮現代戰場上對物流計劃和支持日益復雜的要求。機器學習的應用將使軍隊在各種任務變得自動化并且效率和準確性達到新的高度時，能夠積極主動地進行預測。但是，對手可以嘗試欺騙這種系統，從而導致計劃者和運營商犯下災難性的并可能致命的后勤錯誤。

在當前的發展狀態下引入機器學習極大地增加了遭受攻擊的可能性，而對于了解如何進行管理卻做得很少?，F在的問題是，采用機器學習的人（如美國國防部）如何管理它，以將其固有風險降低到可接受的水平，同時又保持競爭力。

算法戰跨職能團隊存在一個嚴重的缺陷-它沒有明確包含一項任務，即確定如何檢測和抵抗對手誤導和欺騙機器學習技術的嘗試。這是一個失去的機會。未來的所有工作都應包括一項特定的任務，以識別和開發針對漏洞的緩解策略，這些漏洞是通過使用機器學習技術而唯一引入的。

這些錯誤中的某些錯誤是不可避免的，因為當前對機器學習系統的漏洞缺乏全面的理論理解。這已經得到研究界的認可，并導致了國防高級研究計劃局（DARPA）和美國國家科學基金會等最近的研究投資。但是，這些努力還處于早期階段，而爭奪現場應用程序中機器學習的競賽正在進行中。

一些先前的經驗說明了潛在的危險，并指出了可能的緩解措施。1988年11月，最早的計算機病毒之一莫里斯·沃爾姆（Morris Worm）在互聯網上造成了嚴重破壞。幾周后，卡內基梅隆大學軟件工程學院成立了第一個計算機緊急響應小組協調中心（CERT / CC），以幫助行業，學術界和政府管理網絡安全。那個模型很快被全世界復制了。在接下來的兩年中，事件響應團隊的數量成倍增加。但是，一年后，Wank Worm漏洞顯示團隊未能在全球范圍內進行協調。結果就是創建了事件響應和安全團隊論壇（FIRST）1990年。其任務是協調和促進全球事件響應團隊之間的協作與合作。US-CERT目前是美國國土安全部國家保護和計劃局的一部分，是FIRST成員，同時也是全球400多個類似組織的成員。

盡管FIRST及其所有成員都做出了英勇的努力，但美國海軍部長于2019年3月發布的《網絡安全準備情況回顧》指出：“有許多不良行為者，

但是，中國和俄羅斯尤其以戰略方式進行了努力，并為實現其目標進行了大規模執行，而美國仍然措手不及，而且常常無力自衛?！憋@然，美國面對有能力的對手愿意利用漏洞來發揮自己的優勢。華盛頓應該將網絡領域的經驗教訓應用到機器學習中。

五角大樓應如何管理機器學習安全性

聯合人工智能中心（JAIC），國防部人工智能（AI）卓越中心，國防部實驗室和DARPA一起已經朝著正確的方向邁出了第一步。但是這些努力僅僅是一個開始。五角大樓不應該重蹈覆轍，將軟件和網絡安全漏洞長期以來視作是事后才想到的，而不是一流的國家安全威脅。在開發和部署機器學習系統之前，開發緩解和管理安全問題的策略和技術應該是當務之急。機器學習安全性需要廣泛的組織支持以及系統且周到的資金。

FIRST等現有組織及其在全球的所有CERT成員都應得到加強和擴展。他們將需要通過直接解決由于引入機器學習技術而導致的計算機系統日益增加的脆弱性來做出自己的努力。經典計算機安全漏洞被定義為“通過繞過其基礎安全機制導致數據，應用程序，服務，網絡和/或設備的未授權訪問的任何事件”。然而，機器學習系統可以在沒有簡單地訪問系統被欺騙通過將其暴露于會欺騙它的外部輸入。例如，在最近的實驗中，場景中左輪手槍的簡單旋轉導致機器視覺系統將左輪手槍視為捕鼠器。這種類型的攻擊將超出當今CERT人員的經驗。因此，現有人員將必須補充新的專業知識，并且將需要其他研究議程來匹配因使用機器學習而產生的獨特漏洞。他們必須認識到，盡管機器學習系統可以在許多方面超越人類的性能，但它們卻可能以人類無法想象的方式失敗。

一些用于管理機器學習安全性的方法將類似于它們已經針對經典軟件漏洞執行的那些方法。這些措施應包括使用紅色團隊發現和修復潛在的安全漏洞，以及對在機器學習系統中發現的漏洞（包括安全漏洞，潛在的攻擊輸入和其他類型的利用）進行機密報告。盡管對于機器學習系統實際學習到的東西肯定存在一些不確定性，但可以通過使用新型形式驗證來證明機器學習系統的關鍵特性來避免關鍵漏洞。

主動防御措施應包括“白帽子”工作，以預測機器學習的進展將如何實現更有效的系統攻擊。應該有一個研究議程來發展對機器學習漏洞的全面理論理解。這種理解將適用于防御和緩解技術的發展。這些技術又將用于識別，開發和分發標準工具，以測試機器學習系統中的常見安全問題。還應考慮潛在的與硬件相關的方法，例如將安全功能合并到特定于機器學習的硬件中，例如圖形處理單元，現場可編程門陣列，以及特定用途的集成電路（例如張量處理單元）（例如，防止復制，限制訪問，促進活動審核等）。其他與硬件相關的措施應包括確定設計具有安全功能的硬件的可行性以及推動采用此類硬件。

盡管我們正在采取積極步驟來解決機器學習系統的安全性問題，但是我們需要采取果斷行動，將對此類問題的考慮放在我們所有努力中的突出位置，而不是事后才想到。私營部門，學術界和政府都應作為平等的伙伴，協調努力并相互支持。實現這一目標的一種方法是加強和提高美國國家標準與技術研究院AI標準的知名度和重要性根據2019年2月11日第13859號行政命令創建的組織。NIST應確保AI標準組織的成員包括來自代表性私營部門，學術機構和政府組織（尤其是與公益相關的機構，例如聯邦貿易委員會消費者保護局， （衛生和公共服務部等）作為其工作的組成部分。這將幫助NIST促進私營部門，學術界和政府之間的關鍵互動。為了加強AI標準的工作，應該建立機制以在影響公共安全和福利的情況下創建有關機器學習應用程序的可靠性和安全性的可執行標準。

工業界和學術界在機器學習研究與開發中處于領先地位。學術界需要工業界和政府的財政支持。政府需要行業和學術界來幫助制定需求，并開發機器學習應用程序并將其部署到服務中。如果沒有整個國家的方法，我們將制造出巨大的漏洞，這些漏洞將使機器學習的優勢相形見絀，并使它的收益難以捉摸。

結論

盡管在軍事行動中使用AI和機器學習的希望引人入勝，但這些系統的引入也帶來了許多新的漏洞。這些漏洞是機器學習的核心，不應忽略。隨著機器學習系統在軍事行動中發揮著越來越重要的作用，它們作為欺騙目標的重要性也在增加。攻擊者可以利用機器學習來欺騙和誤導，例如采用這種技術的各種決策支持，計劃和態勢感知系統。在軍事環境中，此類系統的錯誤結果可能導致戰場上的損失和人員傷亡。

現在是時候將機器學習技術中的漏洞問題視為國家級的關鍵問題了。不可能消除所有漏洞，但可以緩解這些漏洞。欺騙的新時代即將來臨，我們必須承認這一欺騙并采取相應的行動-越早越好。