如何用 Python 爬取天氣預報
大家好，我是Victor 278，由于本人是做前端的，Python學來作知識擴充的，看到非常多的小伙伴高呼著想從0開始學爬蟲，這里開始寫定向爬蟲從0開始，獻給想學爬蟲的零基礎新人們，歡迎各位大佬們的指點。
本文適用人群
1、零基礎的新人；
2、Python剛剛懂基礎語法的新人；
輸入標題學習定向爬蟲前需要的基礎
1、Python語法基礎；
2、請閱讀或者收藏以下幾個網站：
1）Requests庫
http://cn.
python-
requests.org/zh_CN/latest/
2）BeautifulSoup4庫
https://www.crummy.com/software/BeautifulSoup/bs4/doc/
沒有Python基礎的新人，我建議可以學習以下資料：
1、官方最新的英文文檔（https://docs.
python.org/3/）
2、
python 3.60版本中文文檔（http://www.
pythondoc.com/
pythontutorial3/index.html）
3、廖雪峰Python教程（https://www.liaoxuefeng.com/）
備注：書籍也有很多選擇，但是其實入門教程講來講去都是那些東西，不做細究，你隨意挑一本完完整整的學習好比你浪費時間選擇教材要強多了。
正文開始
我假設你已經符合上述的標準，現在我們就來開始第一個爬蟲的網站，我們首先挑選一個下手；
附上URL：中國天氣網（http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first）
第一步：
請確保你已經安裝了Requests和Beautifulsoup4的庫，否則你可以打開CMD（命令提示符）然后輸入
pip3 install
requests
pip3 install Beautifulsoup4
pip3 install lxml
安裝完畢后接著打開你的編輯器，這里對編輯器不做糾結，用的順手就好。
首先我們做爬蟲，拿到手第一個步驟都是要先獲取到網站的當前頁的所有內容，即HTML標簽。所以我們先要寫一個獲取到網頁HTML標簽的方法。
整個爬蟲的的代碼搭建我都采用的是將不同的功能做成不同的函數，在最后需要調用的時候進行傳參調用就好了。
那么問題來了，為什么要這么做呢？
寫代碼作為萌新要思考幾件事：
1、這個代碼的復用性；
2、這個代碼的語義化以及功能解耦；
3、是否美觀簡潔，讓別人看你的代碼能很清楚的理解你的邏輯；
代碼展示：
'''
抓取每天的天氣數據
python 3.6.2
url:http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first
'''
import
requests
import bs4
def get_html(url):
'''
封裝請求
'''
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
'ContentType':
'text/html; charset=utf-8',
'Accept-Encoding':
'gzip, deflate, sdch',
'Accept-Language':
'zh-CN,zh;q=0.8',
'Connection':
'keep-alive',
}
try:
htmlcontet =
requests.get(url, headers=headers, timeout=30)
htmlcontet.raise_for_status()
htmlcontet.encoding = 'utf-8'
return htmlcontet.text
except:
return " 請求失敗 "
上述代碼幾個地方我特別說明一下：
'''
抓取每天的天氣數據
python 3.6.2
url:http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first
'''
import
requests
import bs4
養成好習慣代碼一開始的注釋表明這是一個什么功能的Python文件，使用的版本是什么，URL地址是什么，幫助你下次打開的時候能快速理解這個文件的用途。
由于Requests和Beautifulsoup4是第三方的庫，所以在下面要用import來進行引入
然后是
def get_html(url):
'''
封裝請求
'''
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
'ContentType':
'text/html; charset=utf-8',
'Accept-Encoding':
'gzip, deflate, sdch',
'Accept-Language':
'zh-CN,zh;q=0.8',
'Connection':
'keep-alive',
}
try:
htmlcontet =
requests.get(url, headers=headers, timeout=30)
htmlcontet.raise_for_status()
htmlcontet.encoding = 'utf-8'
return htmlcontet.text
except:
return " 請求失敗 "
其中
def get_html(url)：
構造一個名為get_html的函數，并傳入你要請求的URL地址進去，會返回一個請求后的結果，
構造好后，調用的時候直接
url = '包裹你的url'
get_html(url)
然后同樣備注好你的這個函數的功能是做什么的，headers里面包裹了一些偽裝成瀏覽器訪問的一些頭部文件可以直接你復制過去使用。
這里要說一下為什么要做基礎的偽裝成瀏覽器，由于有了爬蟲，自然就有反爬蟲。有些網站為了惡意避免爬蟲肆意爬取或者進行攻擊等等情況，會做大量的反爬蟲。偽裝瀏覽器訪問是反爬蟲的一小步。
好了我們繼續，
htmlcontet =
requests.get(url, headers=headers, timeout=30)
htmlcontet.raise_for_status()
htmlcontet.encoding = 'utf-8'
return htmlcontet.text
第一條如果我們看了Requests之后就知道這是一個解析你傳入的url，并包含了請求頭，響應延時
第二條，如果當前頁面響應的情況會返回一個json數據包，我們通過這個語法來確認是否為我們要的成功響應的結果
第三條，解析格式，由于該網站我們可以看到已知字符編碼格式為utf-8所以在這里我就寫死了是utf-8
最后都沒問題后，返回一個頁面文件出來
第二步：
拿到一個頁面文件后，我們就需要觀察一下該網頁的HTML結構
這里介紹一下如何觀察一個網頁的結構，打開F12或者，找個空白的位置右鍵——>檢查
我們大概會看到這樣的一個情況：
沒錯你看到那些<body><div>這些就是HTML語言，我們爬蟲就是要從這些標記里面抓取出我們所需要的內容。
我們現在要抓取這個1日夜間和2日白天的天氣數據出來：
我們首先先從網頁結構中找出他們的被包裹的邏輯
很清楚的能看到他們的HTML嵌套的邏輯是這樣的：
<div class="con today clearfix">
|
|_____<div class="left fl">
|
|_____<div class="today clearfix" id="today">
|
|______<div class="t">
|
|_____<ul class="clearfix">
|
|_____<li>
|
|_____<li>
我們要的內容都包裹在li里面，然后這里我們就要用BeautifulSoup里面的find方法來進行提取查詢
我們繼續構建一個抓取網頁內容的函數，由于我們最終要的數據有兩條，所有我先聲明一個weather_list的數組來等會保存我要的結果。
代碼如下：
def get_content(url):
'''
抓取頁面天氣數據
'''
weather_list = []
html = get_html(url)
soup = bs4.BeautifulSoup(html, 'lxml')
content_ul = soup.find('div', class_='t').find_all('li')
for content in content_ul:
try:
weather = {}
weather['day'] = content.find('h1').text
weather['temperature'] = content.find(
'p', class_='tem').span.text + content.find(
'p', class_='tem').em.text
weather_list.append(weather)
except:
print('查詢不到')
print (weather_list)
同樣的話不說第二遍，我們要寫好注釋。在聲明完數組后，我們就可調用剛才封裝好的請求函數來請求我們要的URL并返回一個頁面文件，接下來就是用Beautifulsoup4里面的語法，用lxml來解析我們的網頁文件。
你們可以用
soup = bs4.BeautifulSoup(html, 'lxml')
print (soup)
就可以看到整個HTML結構出現在你眼前，接下來我就們就根據上面整理出來的標簽結構來找到我們要的信息
content_ul = soup.find('div', class_='t').find_all('li')
具體方法，要熟讀文檔，我們找到所有的li后會返回一個這樣的結構
這是一個數組的格式，然后我們遍歷它，構造一個字典，我們對于的操作字典建立'day','temperature'鍵值對
for content in content_ul:
try:
weather = {}
weather['day'] = content.find('h1').text
weather['temperature'] = content.find(
'p', class_='tem').span.text + content.find(
'p', class_='tem').em.text
weather_list.append(weather)
except:
print('查詢不到')
print(weather_list)
最后輸出
附上完整代碼：
'''
抓取每天的天氣數據
python 3.6.2
url:http://www.weather.com.cn/weather1d/101190401.shtml
'''
import json
import
requests
import bs4
def get_html(url):
'''
封裝請求
'''
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
'ContentType':
'text/html; charset=utf-8',
'Accept-Encoding':
'gzip, deflate, sdch',
'Accept-Language':
'zh-CN,zh;q=0.8',
'Connection':
'keep-alive',
}
try:
htmlcontet =
requests.get(url, headers=headers, timeout=30)
htmlcontet.raise_for_status()
htmlcontet.encoding = 'utf-8'
return htmlcontet.text
except:
return " 請求失敗 "
def get_content(url):
'''
抓取頁面天氣數據
'''
weather_list = []
html = get_html(url)
soup = bs4.BeautifulSoup(html, 'lxml')
content_ul = soup.find('div', class_='t').find('ul', class_='clearfix').find_all('li')
for content in content_ul:
try:
weather = {}
weather['day'] = content.find('h1').text
weather['temperature'] = content.find(
'p', class_='tem').span.text + content.find(
'p', class_='tem').em.text
weather_list.append(weather)
except:
print('查詢不到')
print(weather_list)
if __name__ == '__main__':
url = 'http://www.weather.com.cn/weather1d/101190401.shtml'
get_content(url)
京公網安備 11010802034615號
經營許可證編號：京B2-20210330
