用Python爬蟲獲取自己感興趣的博客文章

在CSDN上有很多精彩的技術博客文章，我們可以把它爬取下來，保存在本地磁盤，可以很方便以后閱讀和學習，現在我們就用python編寫一段爬蟲代碼，來實現這個目的。

我們想要做的事情：自動讀取博客文章，記錄標題，把心儀的文章保存到個人電腦硬盤里供以后學習參考。

過程大體分為以下幾步：

1. 找到爬取的目標網址；

2. 分析網頁，找到自已想要保存的信息，這里我們主要保存是博客的文章內容；

3. 清洗整理爬取下來的信息，保存在本地磁盤。

打開csdn的網頁，作為一個示例，我們隨機打開一個網頁：

http://blog.csdn.net/u013088062/article/list/1。

可以看到，博主對《C++卷積神經網絡》和其它有關機計算機方面的文章都寫得不錯。

爬蟲代碼按思路分為三個類（class），下面3個帶“#”的分別給出了每一個類的開頭（具體代碼附后，供大家實際運行實現）：

采用“類（class）”的方式屬于Python的面向對象編程，在某些時候比我們通常使用的面向過程的編程方便，在大型工程中經常使用面向對象編程。對于初學者來說，面向對象編程不易掌握，但是經過學習習慣之后，會逐步慢慢從面向過程到面向對象編程過渡。

特別注意的是，RePage類主要用正則表達式處理從網頁中獲取的信息，正則表達式設置字符串樣式如下：

用正則表達式去匹配所要爬取的內容，用Python和其它軟件工具都可以實現。正則表達式有許多規則，各個軟件使用起來大同小異。用好正則表達式是爬蟲和文本挖掘的一個重要內容。

SaveText類則是把信息保存在本地，效果如下：

用python編寫爬蟲代碼，簡潔高效。這篇文章僅從爬蟲最基本的用法做了講解，有興趣的朋友可以下載代碼看看，希望大家從中有收獲。

附相關Python代碼：

1#-*-coding:UTF-8-*-
 2import re
 3import urllib2
 4import sys
 5#目的：讀取博客文章，記錄標題，用Htnl格式保存存文章內容
 6#版本：python2.7.13
 7#功能：讀取網頁內容
 8class GetHtmlPage():
 9        #注意大小寫
10        def __init__(self,strPage):
11            self.strPapge = strPage
12        #獲取網頁
13        def GetPage(self):
14                req = urllib2.Request(self.strPapge)            # 建立頁面請求
15                rep = req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")
16                try:
17                   cn = urllib2.urlopen(req)                    #網頁請求
18                   page = cn.read()                          #讀網頁
19                   uPage = page.decode("utf-8")               #網頁編碼
20                   cn.close()
21                   return uPage
22                except urllib2.URLError, e:                     #捕獲異常
23                        print 'URLError:', e.code
24                        return
25                except urllib2.HTTPError, e:                     #捕獲異常
26                        print 'HTTP Error:' + e.reason
27                        return
28                return rePage
29#正則表達式，獲取想要的內容
30class RePage():
31#正則表達式提取內容，返回鏈表
32    def GetReText(self,page,recode):
33        rePage = re.findall(recode,page,re.S)
34        return rePage
35#保存文本
36class SaveText():
37    def Save(self,text,tilte):
38        try:
39            t="blog\\"+tilte+".html"
40            f = file(t,"a")
41            f.write(text)
42            f.close()
43        except IOError,e:
44            print e.message
45if __name__ == "__main__":
46    s = SaveText()
47    #文件編碼
48    #字符正確解碼
49    reload(sys)
50    sys.setdefaultencoding( "utf-8" ) #獲得系統的默認編碼
51    #獲取網頁
52    page = GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1")
53    htmlPage = page.GetPage()
54    #提取內容
55    reServer = RePage()
56    reBlog = reServer.GetReText(htmlPage,r'<span class="link_title"><a href="(.+?)">.*?(\s.+?)</a></span>')   #獲取網址鏈接和標題
57    #再向下獲取正文
58    for ref in reBlog:
59        pageHeard = "http://blog.csdn.net/"         #加鏈接頭
60        strPage = pageHeard+ref[0]
61        tilte=ref[1].replace('<font color="red">[置頂]</font>', "")     #用替換的功能去除雜的英文
62        tilte=tilte.replace("\r\n","").lstrip().rstrip()
63        #獲取正文
64        htmlPage = GetHtmlPage(strPage)
65        htmlPageData = htmlPage.GetPage()
66        reBlogText = reServer.GetReText(htmlPageData,'<div id="article_content" class="article_content">(.+?)</div>')
67    #保存文件
68        for s1 in reBlogText:
69            s1='<meta charset="UTF-8">\n'+s1
70            s.Save(s1,tilte)

根據上期學員的反饋和優化，接下來覃老師主講Python數據挖掘課程變成4天，跟著覃老師一起領悟數據挖掘算法在行業應用。強化的培訓，應該讓你可以學完后很自信，學以致用，快速上手解決工作中的問題。

4天課程內容足夠豐富，想學習的朋友報名從速，點擊閱讀原文，查看課程詳情，繳費后獲得預習視頻和資料。

在線咨詢：

張老師

座機：010-68456523

QQ：2881989712  

掃碼添加微信