用人工智能讀懂大數據_數據分析師考試

關于大數據，現在有兩個概念，一個是數據大，另一個就是容量大?！按蟆贝_實是一個問題，隨之而來的大數據處理問題也是一個老問題。之所以說這是個老問題就在于，之前在氣象數據的處理里，有各種不同的圖象、文本，動態情況帶來的變化也很多，導致我們也遇到很大的數據量。因此數據大并不是網絡時代才有的問題，只是現在更加嚴重。

網絡數據面臨的根本困難

網絡數據跟以往數據的不同在于網絡時代的數據雖然量很多，但是有用的不到30%、40%，好用的更不多，只有7%，經過“清洗”的不到1%。這和我們以往的數據大不一樣，氣象數據盡管有噪聲問題，但是從來沒有數據虛假、無用、造謠的，但是在網絡里就不一樣了。

此外，網絡數據跟用戶和社會關聯，也就是說這種數據是在社會間產生，在人與人之間不斷傳播，因此它所造成的影響和效果是跟以往的數據不一樣的。

以往，我們比較多的是從形式、規模這些維度來考慮大數據，在形式上它很復雜，規模上它數量很大，但網絡數據還將涉及更多我們之前沒有涉及的維度，如語義的維度、內容的維度。

首先是人機交互的變化。通常我們在用計算機的時候只是把程序輸入進去，計算機根據程序來完成計算，然后把結果輸出給用戶，這中間計算機不需要了解用戶的意圖或數據的來源。因為所有的數據有在計算機存在的語音和語義，但計算機并沒有理解這些內容。到了網絡時代，人機界面起到非常大的變化。也就是說人們把自己的需求用文本、圖象、語音輸入到計算機里，計算機必須得通過這些了解用戶意圖，然后根據用戶意圖輸出用戶需要的信息，在此信息的內容已經需要計算機考慮了。

在網絡時代計算機必須要涉及到信息的內容，這意味著計算機不僅需要了解用戶意圖，同時要了解用戶的興趣等，這是語義的維度。

如果要了解網絡計算機新的需求以及了解用戶意圖、興趣和體驗等，我們要做到兩點。首先就是把沒用上的或者“不好”的數據轉變成知識，或者我們通過理解這些數據的內容、信息的內容，把它們變成網絡時代信息處理的新需求。其次，如果計算機要從文本、圖象、語音去理解用戶的意圖，那這個理解必須涉及三個層面的問題。第一個方面，計算機得了解某句話的字面意思，即自然語義；第二個方面，用戶輸入這句話的用意何在，潛意識里想要做什么；第三個方面，這句話的真實含義是什么，判斷用戶是否贊同此說法等。因此我們提供一條網絡信息，計算機至少需要了解這三層意思。但過去計算機信息處理里沒有此要求，這就是我們現在傳統信息面臨的最根本的挑戰。

用人工智能處理網絡數據

傳統的信息處理方法顯然是能不能解決上述問題的，原因在于我們所有的信息處理方法是建立在與語義無關的假設上，不管是通信理論、控制理論或者信息處理理論都是跟語義無關的，也就是說在傳統理論里必須把信息內容抽掉，這就是所有信息理論建立的依據，因為不采取這樣的方法就不能建立一般的內容。

到了網絡時代傳統的方法遇到困難了，當我們輸入信息X送到機器上，閱讀者或者接收者者接受信息X，中間都沒有誤差，但我們接下來從機器那里我們能不能了解到X背后的含義呢？顯然傳統的剝離信息內容的處理方法解決不了這個問題。

但我們現在還是在采用傳統方法進行網絡上的信息處理。具體是把X映射到詞空間，或者圖象的特征里，然后試圖找到這個特征到語義的映射。那么特征空間到語義空間是否存在一對一的映射？如果存在，如何去找？我們現在把圖象、文本、語音統稱為數據，到計算機里它們都表現為0和1、1和0，我們要從這些0和1、1和0里找出來具體的0和1是哪個概念，它背后是什么，并要找到這個映射?，F實中，我們不能準確把0和1、1和0進行準確的歸類，這個一般情況映射是不存在的。也就是說從底層的數據時代詞的組合，從顏色、紋理、視頻等，我們沒法找到其文本的含義，去識別這個圖象代表什么，或者識別語音，因為距離太遠。

但是有幸的是這種映射在特定數據處理之下，通過使用合理的方法這個映射是存在的，也就是說它只在特定的條件下用特定的方法才存在。我們現在在做的文本機器翻譯、圖象識別、語音識別都是在這個前提下實現的。所以我們每當看到人家輸出各種結果時，首先想到的是在什么樣的數據庫下做出來的。我們現在常聽到的機器學習、深度學習就是用這個方法進行訓練，再獨立開，進而對沒有見過的數據進行分類。

現在很多圖象識別做得比較好，原因在于其圖象庫的圖片以及所給的圖片是規格化的、對齊的，而且是正面人臉，保證了其相對高的識別率，這也是在特定條件下可以做得非常好的效果。而如果我們圖象沒有規格化，大小不一，不僅有正面圖象還有側面圖象，或者有一定角度的圖象，這樣識別率就會變低。

目前計算機做的人臉識別都是上面提到的必須在一定的圖片下面進行比較，方法無論好壞，大家都必須在同樣的數據庫下做實驗。這也是我們傳統的信息處理方法。

多層神經網絡并非完美

人工智能試圖直接去處理語義，這也是人工智能的一個重大試探。這個試探的結果是基于語義觀察學這一假設。而人工智能認為人腦和計算機都是物理符號系統，我們就有可能用計算機來模擬人腦功能。這一假說是人工智能領域幾個創始人提出來的主張，早期的人工智能也是在這個主張下開展的。

雖然這個主張也有人提出了反對意見（不能把人腦的所有的過程都看成是符號處理），但我們確實在實踐上取得了很多進展。這就是在計算機應用的所謂符號模型，但是這個模型有它的局限性。

這個模型可以模擬深思熟慮的行為，還可以用來做問題的處理、診斷和決策。

當我們把決策和診斷過程用符號系統處理，會有成功也有不成功的，最主要的成功就是用這套方法來做模式識別，但是在感知和語音識別方面行不通。后來便提出了多層神經網絡，現在多層神經網絡多指深度學習。也就是說我們固然可以用知識推動的方法來解決人類深思熟慮的行為，像推理、診斷、規劃等，但是這類方法很難用到感知處理上，而感知處理用多層神經網絡來做，語音、圖象的識別率比傳統的方法提高了兩位數的百分點，這是非常了不起的。

但是這個方法也不是完美的，并不能完全解決問題。概率統計方法存在局限性，多層神經網絡也不是完美的，不能簡單地以為深度學習已經完全可以超過人類的水平，這只是在一定的條件和環境下。

未來的大方向是把傳統信息處理和人工智能結合起來，傳統信息處理是概率統計的方法，是數據驅動的方法，要解決大數據處理的問題以及語義問題，就要做到“數據驅動+知識驅動”。