Python使用Mechanize模塊編寫爬蟲的要點解析
mechanize是對urllib2的部分功能的替換，能夠更好的模擬瀏覽器行為，在web訪問控制方面做得更全面。結(jié)合beautifulsoup和re模塊，可以有效的解析web頁面，我比較喜歡這種方法。
下面主要總結(jié)了使用mechanize模擬瀏覽器的行為和幾個例子（谷歌搜索，百度搜索和人人網(wǎng)登錄等）
1.初始化并建立一個瀏覽器對象
如果沒有mechanize需要easy_install安裝，以下代碼建立瀏覽器對象并作了一些初始化設(shè)置，實際使用過程可以按需開關(guān)。其實只用默認的設(shè)置也可以完成基本任務(wù)。
#!/usr/bin/env python
import sys,mechanize
#Browser
br = mechanize.Browser()
#options
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
#debugging?
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)
#User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
2.模擬瀏覽器行為
瀏覽器對象建立并初始化完畢之后即可使用了，下面給出幾個例子（代碼承接以上部分）
獲取web網(wǎng)頁：
分行打印可以逐個查看詳細信息，就不贅述
r = br.open(sys.argv[1]) html = r.read() print html print br.response().read() print br.title() print r.info()
模擬谷歌和百度查詢
打印和選擇forms，然后填寫相應(yīng)鍵值，通過post提交完成操作
for f in br.forms(): print f br.select_form(nr=0)
谷歌查詢football
br.form['q'] = 'football' br.submit() print br.response().read()
百度查詢football
br.form['wd'] = 'football' br.submit() print br.response().read()
相應(yīng)鍵值名，可以通過打印查出
回退（Back）
非常簡單的操作，打印url即可驗證是否回退
# Back br.back() print br.geturl()
3.http基本認證
br.add_password('http://xxx.com', 'username', 'password')
br.open('http://xxx.com')
4.form認證
以登陸人人網(wǎng)為例，打印forms可以查出用戶名和密碼鍵信息
br.select_form(nr = 0) br['email'] = username br['password'] = password resp = self.br.submit()
5.cookie支持
通過導(dǎo)入cookielib模塊，并設(shè)置瀏覽器cookie，可以在需要認證的網(wǎng)絡(luò)行為之后不用重復(fù)認證登陸。通過保存session cookie即可重新訪問，Cookie Jar完成了該功能。
#!/usr/bin/env python import mechanize, cookielib br = mechanize.Browser() cj = cookielib.LWPCookieJar() br.set_cookiejar()
6.proxy設(shè)置
設(shè)置http代理
#Proxy
br.set_proxies({"http":"proxy.com:8888"})
br.add_proxy_password("username", "password")
#Proxy and usrer/password
br.set_proxies({"http":"username:password@proxy.com:8888"})
7.關(guān)于內(nèi)存過高問題
在用mechanize寫了一個爬蟲腳本，想要去某網(wǎng)站爬取大概30萬張圖片。
整個過程是：
1、獲取目標頁面地址
2、取得目標地址前幾頁的所有圖片url
3、對這些url進行下載，并把索引數(shù)據(jù)保存到mysql數(shù)據(jù)庫。
這個腳本大概每秒鐘完成一張圖片的下載(主要是網(wǎng)絡(luò)只有200K/S左右，是瓶頸)
當圖片下載到大約15000張左右的時候，發(fā)現(xiàn)越來越慢，最后干脆停下了。
用ps aux查看，發(fā)現(xiàn)進程sleep了，感覺很奇怪。
free看一下，內(nèi)存竟然只剩下100M了（系統(tǒng)總內(nèi)存4GB）
在網(wǎng)上瞎逛了一下，發(fā)現(xiàn)原來mechanize默認會保存模擬過的操作歷史，導(dǎo)致占用的內(nèi)存越來越大：
http://stackoverflow.com/questions/2393299/how-do-i-disable-history-in-python-mechanize-module
為了方便，大約翻譯一下：
mechanize初始化Browser()的時候，如果你不給他傳一個history對象作為參數(shù)，Browser()就會按照默認的方式（允許保存操作歷史）來進行初始化，你可以隨便傳個什么history給它即可，如自定義一個NoHistory對象：
class NoHistory(object): def add(self, *a, **k): pass def clear(self): pass b = mechanize.Browser(history=NoHistory())
相關(guān)文章
這篇文章主要介紹了python 中如何獲取列表的索引，在文中給大家提到了python 返回列表中某個值的索引，本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-07-07
在腳本或應(yīng)用程序中,我們需要執(zhí)行音頻處理任務(wù),下面這篇文章主要給大家介紹了關(guān)于Python如何對音視頻文件進行解析的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-11-11
這篇文章主要介紹了如何獲取numpy的第一個非0元素索引，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
今天小編就為大家分享一篇python 將字符串完成特定的向右移動方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
這篇文章主要介紹了Python標準庫之sqlite3使用實例,本文講解了創(chuàng)建數(shù)據(jù)庫、插入數(shù)據(jù)、查詢數(shù)據(jù)、更新與刪除數(shù)據(jù)操作實例,需要的朋友可以參考下2014-11-11
這篇文章主要為大家詳細介紹了如何通過Python繪制九種二次曲面，文中的示例代碼講解詳細，具有一定的學(xué)習(xí)價值，感興趣的小伙伴可以跟隨小編一起了解一下2023-06-06
python使用mysqldb連接數(shù)據(jù)庫操作方法示例詳解
這篇文章主要介紹了python mysqldb使用方法,大家參考使用2013-12-12
這篇文章主要為大家介紹了python中selenium模塊的安裝和配置環(huán)境變量教程、提取數(shù)據(jù)操作、無頭模式，有需要的朋友可以借鑒參考下，希望能夠?qū)Υ蠹矣兴鶐椭?/div> 2022-10-10
水印在很多時候都會使用的到，本文主要介紹了Python批量添加圖片水印的實現(xiàn)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
這篇文章主要介紹了PIP安裝python包出現(xiàn)超時問題的解決，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03最新評論