快捷導(dǎo)航

python編寫(xiě)簡(jiǎn)單爬蟲(chóng)資料匯總

更新時(shí)間：2016年03月22日 09:22:37 作者：oYabea

本文給大家匯總介紹了下幾種使用Python編寫(xiě)簡(jiǎn)單爬蟲(chóng)的方法和代碼，非常的不錯(cuò)，這里分享給大家，希望大家能夠喜歡。

　　爬蟲(chóng)真是一件有意思的事兒啊，之前寫(xiě)過(guò)爬蟲(chóng)，用的是urllib2、BeautifulSoup實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)，scrapy也有實(shí)現(xiàn)過(guò)。最近想更好的學(xué)習(xí)爬蟲(chóng)，那么就盡可能的做記錄吧。這篇博客就我今天的一個(gè)學(xué)習(xí)過(guò)程寫(xiě)寫(xiě)吧。

一正則表達(dá)式

　　正則表達(dá)式是一個(gè)很強(qiáng)大的工具了，眾多的語(yǔ)法規(guī)則，我在爬蟲(chóng)中常用的有：

.	匹配任意字符（換行符除外）
*	匹配前一個(gè)字符0或無(wú)限次
?	匹配前一個(gè)字符0或1次
.*	貪心算法
.*?	非貪心算法
（.*?)	將匹配到的括號(hào)中的結(jié)果輸出
\d	匹配數(shù)字
re.S	使得.可以匹配換行符

　　常用的方法有：find_all()，search()，sub()

　　對(duì)以上語(yǔ)法方法做以練習(xí)，代碼見(jiàn)：https://github.com/Ben0825/Crawler/blob/master/re_test.py

二 urllib和urllib2

　　urllib和urllib2庫(kù)是學(xué)習(xí)Python爬蟲(chóng)最基本的庫(kù)，利用該庫(kù)，我們可以得到網(wǎng)頁(yè)的內(nèi)容，同時(shí)，可以結(jié)合正則對(duì)這些內(nèi)容提取分析，得到真正想要的結(jié)果。

　　在此將urllib和urllib2結(jié)合正則爬取了糗事百科中的作者點(diǎn)贊數(shù)內(nèi)容。

　　代碼見(jiàn)：https://github.com/Ben0825/Crawler/blob/master/qiubai_test.py

三 BeautifulSoup

　　BeautifulSoup是Python的一個(gè)庫(kù)，最主要的功能是從網(wǎng)頁(yè)抓取數(shù)據(jù)，官方介紹是這樣的：
　　Beautiful Soup 提供一些簡(jiǎn)單的、python 式的函數(shù)用來(lái)處理導(dǎo)航、搜索、修改分析樹(shù)等功能。它是一個(gè)工具箱,通過(guò)解析文檔為用戶(hù)提供需要抓取的數(shù)據(jù),因?yàn)楹?jiǎn)單,所以不需要多少代碼就可以寫(xiě)出一個(gè)完整的應(yīng)用程序。
　　Beautiful Soup 自動(dòng)將輸入文檔轉(zhuǎn)換為 Unicode 編碼,輸出文檔轉(zhuǎn)換為 utf-8 編碼。你不需要考慮編碼方式,除非文檔沒(méi)有指定一個(gè)編碼方式,這時(shí),Beautiful Soup 就不能自動(dòng)識(shí)別編碼方式了。然后,你僅僅需要說(shuō)明一下原始編碼方式就可以了。
　　Beautiful Soup 已成為和 lxml、html6lib 一樣出色的 python 解釋器,為用戶(hù)靈活地提供不同的解析策略或強(qiáng)勁的速度。

　　首先：爬取百度百科Python詞條下相關(guān)的100個(gè)頁(yè)面，爬取的頁(yè)面值自己設(shè)定。

　　代碼詳見(jiàn)：https://github.com/Ben0825/Crawler/tree/master/python_baike_Spider

　　代碼運(yùn)行：