對于科學研究：人類動力學研究，計量社會學，復雜網絡，數據挖掘，理論計量學、應用計量學、或是各個論文中對數據整理都異常重要。

而網絡爬蟲是收集相關數據的利器,它可以抓取某個網站或者某個應用的內容，提取有用的價值以及各種數據。也可以模擬用戶在瀏覽器或者App應用上的操作，實現自動化的程序。

而因為Python的腳本特性，以及其不僅易于配置，而且對字符的處理也非常靈活，加上Python有豐富的網絡抓取模塊，所以網絡爬蟲經常與Python聯系在一起。

“工欲善其事，必先利其器”，當您的實證分析中有了一手的準確數據，就好像伐木人有了一把鋒利的斧子，那么您的實證效率會呈現幾何級的增長！這把利器就是Python爬蟲：

Python爬蟲學術應用_3月北京現場班

時間：2019年3月22-25日 (四天)

地點：北京市海淀區丹龍大廈附近

安排：上午9:00-12:00，下午1:30-4:30，答疑4:30-5:00

費用：3600元 / 3000元(學生價僅限全日制本科生及碩士在讀)；食宿自理

我要報名

講師介紹：

閻老師，長期從事數據分析的理論研究、教學和實踐工作。長期關注各類統計軟件的發展和國內外各行業的應用情況，一直保持著與統計應用前沿的密切接觸，在數據挖掘應用、市場研究應用等領域經驗豐富。
擅長企業數據分析和企業診斷，參與多項國家級、省級課題的科研工作，曾任多家電商企業的運營顧問和培訓師，積累了大量實戰經驗。

課程導引：

在了解爬蟲的過程中，由于對這項技術缺乏系統了解，“小白”們難免會被紛繁生僻的知識點折騰地眼花繚亂、暈頭轉向。有的人打算先搞懂基本原理和工作流程，有的人計劃從軟件的基本語法入門，也有人打算弄懂了網頁文檔再來……在學習抓取網絡信息的道路上，許多人因為中途掉進陷阱最終無功而返。因此，掌握正確的方法的確非常重要。

這一門課的目的，就是希望能夠通過通俗易懂的講解，令沒有編程基礎的研究人員通過學習，能夠學會爬取主流網站的內容并整理成為可為后續分析提供依據的數據資料。在這門課結束之后，我們能夠爬取豆瓣的評論內容、學術論文、淘寶的銷售數據、房價的變化趨勢，還能對股票市場進行分析和預測。

課程大綱：

為了能夠完整地呈現Python數據采集的方法和過程，這門課將分為四大部分——

一、Python快速入門

在寫爬蟲之前，我們需要了解一些有關工具的基礎知識。所以，第一天的授課內容是關于Python基礎的，是后續課程中讀懂并編寫爬蟲程序的鋪墊。其中包括了Python的數據結構、變量類型、循環和控制語句、Numpy和Pandas包的基本功能。有基礎的老師可以跳過這一部分直接進入第二部分。

第1章 認識Python

1. Python的數據結構與函數

2. Python的循環與控制流

3. Python的基本擴展庫

二、初識爬蟲

在這一部分中，我們將正式接觸爬蟲，我們也將感受到每天都在使用的瀏覽器究竟藏著哪些細節。為了能夠得到清潔的數據，我們不得不忽略網頁精致的外觀和編排，刻意繞開瀏覽器的幫助來分離和理解數據。頁源里除了我們認識的文字，那些標簽都有著怎樣的含義？如何把網頁內容“請”到我們的分析工具中來？爬取數據有怎樣的規律可循？這些都是第二部分將要呈現的內容。

第2章 重新認識網絡

1. 什么是Web前端

2. HTML的結構

第3章 創建爬蟲

1. 什么是爬蟲

2. Python爬蟲的環境搭建

3. 爬蟲三部曲——獲取、解析、保持

小例子：創建第一個爬蟲

三、頁面解析

在之前的課程中，我們已經知道了要怎樣繁復的工程才堆砌出絢麗的網頁，但這其中大部分的內容是我們并不需要的。如何穿越層層與我們無關的標簽和HTML屬性抽取到清潔的數據內容？如何使用更簡潔高效的方式達到目的？大名鼎鼎的“正則”究竟是什么？這些是4-6章要重點講授的內容。

第4章 復雜HTML解析

1. 正則表達式

2. 一個名叫“心靈雞湯”的擴展庫

3. 導航樹

4. 突破反爬蟲的限制

案例1：靜態頁面爬蟲

第5章 動態渲染頁面的爬取

1. Ajax和動態HTML

2. 無界面瀏覽器PhantomJS

3. 自動化測試庫Selenium

案例2：動態爬蟲

第6章 Scrapy爬蟲架構

1. Scrapy爬蟲結構

2. 創建爬蟲模塊

3. 選擇器

4. 構建Item Pipeline

5. 請求與相應

案例3：Scrapy爬蟲

四、爬取結果的處理

到目前為止，我們處理的還都是規范數據，但現實是，我們面對更多的是樣式不規范的數據，放棄不符合預期的數據并不是一個長久之計。在我們無法挑選數據時，這一章的內容就顯得格外有用了。一個長句中究竟包含了哪些有效信息？一條評價反映出客戶怎樣的態度？接下來的內容將介紹一些工具和方法，幫助我們控制或篩選進入視線的數據，為后續的數據分析做準備。

第7章 數據清洗

1. 清洗結構化數據

2. 清洗非結構化數據

3. 數據標準化

案例4：計算詞頻

第8章 自然語言處理入門

1. 獲取文本語料

2. 加工原始文本

3. 從文本中提取信息

案例5：情感分析

優惠信息：

現場班老學員9折優惠；
同一單位三人以上同時報名9折優惠；

以上優惠不疊加。

報名流程：

1. 點擊“我要報名”，網上提交報名信息；

2. 訂單繳費；

3. 繳費確認，開課前一周發送軟件準備，電子版講義；
4. 現場領取發票及邀請函。

聯系方式：

魏老師
QQ：2881989714  
Tel：010-68478566

Mail：vip@pinggu.org