大家好，我是曹鑫老師，今天要給大家分享的是網上數據的自動批量搜集整理，大家更熟悉的名字是「爬蟲」。

掃碼預約九宮格數據

線下體驗店

在課程開始之前，我要先說一段免責聲明：這次課程對于數據抓取的相關知識，只做學術探討，不要利用抓取到的數據做有損訪問網站商業利益的事情，比如你也建立一個同樣業務的網站；也不要對訪問網站的服務器造成壓力，影響正常用戶的訪問。以上也是大家以后在進行數據采集的時候需要注意的。那我們繼續講技術，數據采集對于我們日常的工作有什么幫助呢？我舉個例子。

比如當我們來到CDA官網的直播公開課頁面，我們可以看到這里有很多的課程，每個課程的組成部分是一致的，包含了它的主題海報、標題內容、授課老師的介紹和頭像，同時我還可以翻頁到下一頁，看到更多的往期公開課，這種構造相信你在很多網站都看到過，你就要聯想到，今天學到的內容，也差不多能應用到類似的網站去。

接下來，如果想要把這些內容全部整理到一張Excel表里面，你該怎么辦？第一反應是不是：那就去挨個復制標題，復制老師的名字，復制介紹內容，一個個粘貼到Excel表里？沒錯，這是我們要做的，但真要拿著鼠標去挨個點，敲著鍵盤 `Ctrl+C`、 `Ctrl+V`，未免也太累了，這就是日常工作中比較典型的場景：任務操作一點不難，但需要不斷重復操作，費時費力。

如果掌握了 Python 數據采集，我會怎么來解決這個重復操作的任務呢？我先給你演示一下效果。代碼不難，就這么一段，你現在看肯定一頭霧水，不要著急，我一段段帶你來閱讀理解。

• 第一部分：調用包
• 第二部分：啟動瀏覽器打開指定網頁
• 第三部分：生成一個空的數據表
• 第四部分：循環翻頁獲取數據
• 第五部分：結果輸出成Excel 表

點擊`Shift+回車`，我們運行一下代碼看看：

1. 瀏覽器自動打開指定的頁面，也就是直播公開課的第一頁。

2. Anaconda 中，星號表示該代碼區域正在運行，而在代碼區域下方會輸出打印的結果。

3. 緊接著循環獲取數據，代碼獲取到了第一頁的內容，并整理成表格打印出來。

4. 然后，瀏覽器自動翻頁到第二頁，又一次獲取第二頁的內容，并整理成表格打印出來。

5. 繼續，第三頁，同樣的輸出。

6. 最后，輸出了一個 Excel 文件，我們打開看一下，全部頁數我需要的數據都整理好了。

我們想要的效果實現了，有幾個好處：

1. 我只點了一下鼠標移動到代碼區域；敲了一下鍵盤 `Shift+回車`啟動程序，接下來我就不用再點鼠標或者敲鍵盤了，全部交給 Python 程序

2. 我現在是獲取3頁，我要獲取10頁，100頁，1000頁，我只要改一下循環這里的數字，讓它循環10次、100次甚至是1000次，再也不用多花更多時間和體力，始終就是一點一運行，剩下的體力活全部交給 Python 。

一旦掌握了數據采集技術，類似的重復性工作你都可以自動化完成。

下面是分享給大家的代碼，可以自行操作試試哦。

# 調用包
from selenium import webdriver
from lxml import etree
import pandas as pd


# 啟動瀏覽器打開指定網頁
browser = webdriver.Chrome('/Users/davidfnck/Downloads/chromedriver')
url = 'http://www.ruiqisteel.com/open.html'
browser.get(url)


# 先創建一個匯總的數據空表
df_all = pd.DataFrame()


# 循環獲取每一頁
for i in range(3):
 page_no = i+1
 # 獲取頁面源碼解析
 html = etree.HTML(browser.page_source) 


 # 獲取數據
 ## 標題
 title_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/h2/text()')
 ## 講師
 teacher_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/h4/text()')
 ## 介紹
 intro_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/p/text()')
 ## 圖片
 pic_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/img/@src')
 ## 鏈接
 link_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/@href')


 # 組合成字典，生成數據表
 all_dict = {'標題':title_list,
        '講師':teacher_list,
        '介紹':intro_list,
        '海報':pic_list,
        '鏈接':link_list
 }


 df = pd.DataFrame(all_dict)


 # 輸出結果
 print(f'第{page_no}頁的輸出結果：')
 print(df.head(3))


 # 新表拼接到舊表的結尾
 df_all = df_all.append(df)


 # 點擊翻頁
 browser.find_element_by_xpath('/html/body/div[3]/div[2]/div/a[4]').click()


# 數據表寫入輸出 Excel
df_all.to_excel('./CDA_Live_公開課_多頁.xlsx')
print('最終結果的Excel已經生成')

當下企業數字化轉型正快速發展，在越來越嚴苛的外部監管及越來越激烈的市場競爭驅動下，各行各業都在急迫地對數據進行最大化的價值挖掘。然而，大多數企業在推動落地時，都會遇到諸多問題?？焖倭私狻皵祿闹卫淼椒治觥钡穆涞亓鞒膛c產出效果，以最低成本實現團隊協同，快速解決深奧數據問題，成為越來越多企業加大數字化轉型投入的核心動力。

CDA數據分析師作為專注于數字化人才培養及服務的教育品牌， 一直致力于大數據在產、學、 研的融合應用。以“培養企業需要的專業數字化人才， 搭建引領數字化時代的企業人才梯隊” 為使命， 為DT時代數字化人才的數據能力提升及企業數字化轉型提供標準化、 高效率、 可落地的數據應用側解決方案。成立15年來， 始終在總結凝練先進數字化商業數據策略及技術應用實踐， 以實際行動提升了數字化人才的職業素養與能力水平， 以建設高質量生態圈層促進了行業的持續快速發展。

CDA數據分析師攜手華矩科技，以數據治理與數據分析為特色，聯合開設九宮格數據體驗店北京分店并對外運營。

圖-CDA&華矩聯合的九宮格數據·數據治理與分析體驗店

體驗內容

在數據治理與分析體驗店，您可以從技術、業務、管理三大方面全方位體驗數據治理與分析。

• 技術體驗方面，您可以體驗從數據預處理、數據內碼轉化、數據結構化處理、數據質量診斷、數據查重與匹配、異構數據集成、特征工程、統計建模、機器學習、模型診斷與調優等技術科目；
• 業務體驗方面，您可以基于模擬真實業務場景的數據體驗客戶統一視圖、合規檢查、遵從度檢查、數據溯源、代碼標準化、SKU標準庫、商業策略優化、用戶分群與畫像、業務分析與預測及風險識別等數字化場景；
• 管理體驗方面，您還可以從團隊或項目管理的角度體驗數據安全管理、數據治理與分析不同崗位角色及團隊協作、數據問題跟蹤管理、數據質量監控、數字化工作方法及BI可視化報告。

而CDA數據分析師與華矩科技的強強聯合，也賦予了數據治理與分析體驗店更多特色體驗，主要包括：

• 數據治理與分析理論培訓+實操演習針對志在數據治理與數據分析發展領域的個人及企業提供相關理論培訓課程及實操體驗，旨在讓零基礎學員通過理論學習與技能習得掌握數據治理及數據分析應用，快速讓數據價值變現。
• 數據治理+數據分析全流程體驗基于體驗店提供的模擬場景測試數據，通過平臺數據治理實操輸出高質量的數據，導入相關數據分析算法模型，從而獲得有價值的分析結果。該體驗服務重點針對個人學員的技能習得，及企業數據團隊協同，使其可以真正學會數據處理技能了解各環節的關系，從而可以真正用到自己的工作中。

體驗店的亮點優勢

區別于以往很重的數據治理咨詢與實施，華矩科技首創的九宮格數據體驗店模式讓用戶可以更輕更快地了解與體驗數據治理，并在體驗店獲得場景模擬，團隊協同和報告輸出。主要包括：

• 直觀感受數據價值
• 端到端全流程體驗
• 場景化的模擬實驗
• 技術業務快速協同
• 模擬真實測試數據
• 快速解決數據問題
• 模擬練習創新體驗
• 項目前期團隊實操
• 專業顧問咨詢輔導

開放免費體驗科目

新店試業期間，九宮格數據·數據治理與分析體驗店數個技術場景科目免費體驗，從數據預處理、數據探查與診斷、數據清洗規則與標準化設計、數據集成、數據優化、數據質量監控到數據分析和數據挖掘等全流程場景，了解數據從產生到處理到應用的相關邏輯與實操路徑，實現一個閉環體驗并賦能個人技能習得或團隊項目預演。

體驗預約須知

1. 體驗店開放地點

廣州店：廣州市天河區體育東路122號羊城商貿中心西塔1010

深圳店：深圳市福田區新聞路華豐大廈303

北京店：北京市海淀區高梁橋斜街59號院1號樓13層1306

2. 體驗店開放時間

周一至周五 9:00-18:00

3. 體驗預約流程

填寫預約申請表單——后臺審核體驗資格——溝通確認體驗時間地點——上門體驗

4. 體驗內容說明

每個場景科目均包含高級顧問輔導與自由實操環節，以確保用戶了解操作方法并能自主操作獲得結果。如需更多操作原理與數據治理與分析理論方法，敬請關注體驗店后續推出的培訓課程。

5. 溫馨提示

新店開業期間針對既定科目場景開放免費體驗，限時限量，請盡快預約體驗。

不同科目體驗涉及不同時長，敬請注意體驗期間差旅住宿餐飲等費用需自理。

*該活動最終解釋權歸九宮格數據·數據治理與分析體驗店所有。

碼上預約體驗，開啟不一樣的數據治理之旅