數據時代的反爬蟲絕技

網絡爬蟲已經成了很普及的網絡技術，會代碼的可以自己搗鼓一個高級的“人工智能”爬蟲，不會的也可以從網上下載一個開源的，然后找個機器或一些代理服務器，就可以肆無忌憚的薅羊毛了。輕的是，爬蟲占用網絡和機器資源，影響網站服務訪問速度。重的是竊取寶貴的版權數據，尤其是大數據時代，數據經常會是一個公司的核心競爭力。所以，爬和反爬永遠是一個攻防戰斗。

今天，我們就來回顧現有的反爬蟲技術。最后揭示了兩個反爬蟲絕技。

反爬蟲技術：

統計IP訪問(TCP/IP層面)

同一IP短時間內多次訪問同一頁面，或是同一賬戶短時間內多次進行相同操作。這個，基于IP或是cookie的訪問日志統計，或是實時的訪問統計，都可以發現爬蟲，進而用captcha來測試，或是直接iptable來屏蔽。

復雜一些的情況是獲取很多的IP，然后，每次訪問隨機的選取IP，對于這種情況，必須求助與基于用戶行為的反爬技術。

檢測HEADER(HTTP協議層面)

早期的爬蟲不大用心，經常會隨便寫個user-agent，或是省略了referer，這種很好檢測。變得聰明后，它們開始模擬不同的user-agent和referer了。但cookie這個東西，由于server可以快速隨機變化，而且是傳遞狀態信息的，給爬蟲的編程帶來了一些難度，但也不是不可以逾越的。

偵測用戶行為(瀏覽器層面)

賬號注冊登錄，javascript和AJAX的動態頁面和動態數據請求，圖片表示和captcha，這些都是利用用戶行為的反爬蟲技術，而且得到了廣泛的采用，而且取得了很好的效果。

道高一尺，魔高一丈，現在流行的”人工智能“爬蟲，哈哈，人工智能很流行，我們也借用一下。實際上，它是機器調用瀏覽器內核，然后利用類似phantomJS等來執行JS來模擬人的操作以及觸發頁面中的JS腳本。它可以填寫表單，點擊按鈕，滾動頁面，總之，完完整整的把人瀏覽頁面獲取數據的過程模擬一遍。對于手機APP，也有類似的模擬觸屏和點擊的工具，完全可以模擬用戶行為完成微信登錄，關注公眾號，點擊文章，采集文章內容，閱讀量，點贊數，總之，就和一個真實的人一樣。對于這種情況，很多具有數據的公司，基本束手無策。

今天，我們揭示兩個反擊”人工智能“的兩個殺手絕技。

第一，數據玷污!是的，玷污，就是真的，假的，數據混雜在一塊，讓你拿到了我的數據，也很難清理和使用。具體怎么做，先拋一個，比如，captcha，不管對錯，都會給出數據，對了，給出正確數據，錯了，對不起，數據可能是玷污之后的。哈哈，you got it!想知道更多?你知道怎么做。

第二，交押金!是的，押金，不是付費。用戶，先交一部分押金，每次訪問關鍵數據，會從押金里扣除一部分。一周或一月后，后臺系統根據日志做個統計挖掘，或是”深度學習“一下，看看哪些是真實的用戶，對于這些，退還押金重新獲取新的訪問。對于爬蟲用戶，對不起，錢被沒收了!

好了，今天就說這么多，希望反爬最終能戰勝爬，至少耗死爬蟲，或是讓爬蟲付出高昂代價。