python爬蟲常用的模塊分析
本文對Python爬蟲常用的模塊做了較為深入的分析，并以實例加以深入說明。分享給大家供大家參考之用。具體分析如下：
creepy模塊
某臺灣大神開發(fā)的，功能簡單，能夠自動抓取某個網(wǎng)站的所有內(nèi)容，當然你也可以設定哪些url需要抓。
地址：https://pypi.python.org/pypi/creepy
功能接口：
set_content_type_filter:
設定抓取的content-type（header中的contenttype）。包括text/html
add_url_filter：
過濾url，傳入的可以是正則表達式
set_follow_mode：
設定遞歸模式，F(xiàn)_ANY：該頁面上所有鏈接都會抓取。 F_SAME_DOMAIN和F_SAME_HOST類似。即同一個域名的都會抓取。F_SAME_PATH：同一路徑的抓取。例如bag.vancl.com/l1/d3/1.jpg path為l1/d3/1.jpg，則path為l1/d3/*的都會抓取。這里可以根據(jù)需要增加自己的遞歸模式
set_concurrency_level：
設定線程最大數(shù)
process_document：
一般需要重寫，處理網(wǎng)頁內(nèi)容，提取自己需要的內(nèi)容。
selenium
可視化界面，抓取自動化，api使用超簡單，完全像是自己在操作瀏覽器。
官方網(wǎng)站：http://www.seleniumhq.org/
python官方網(wǎng)站
http://pypi.python.org/pypi/selenium
webdriver api（很好用，建議多了解一下）
http://www.seleniumhq.org/docs/03_webdriver.jsp
以下是一個抓取凡客網(wǎng)站的例子：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
browser = webdriver.Firefox()
browser.get('http://bag.vancl.com/28145-28167-a18568_18571-b1-n3-s1.html#ref=hp-hp-hot-8_1_1-v:n')
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
time.sleep(1)
print elem.get_attribute("href")
elem.click()
time.sleep(1)
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
print elem.get_attribute("href")
elem.click()
希望本文所述對大家的Python程序設計有所幫助。
相關文章
這篇文章主要介紹了Python獲取當前時間的方法，有需要的朋友可以參考一下2014-01-01
這篇文章主要介紹了Python3非對稱加密算法RSA,結合實例形式分析了Python3 RSA加密相關模塊安裝及使用操作技巧,需要的朋友可以參考下2018-12-12
學習Python時，它總能讓人深刻體會到這款語言的魅力。今天小編為大家?guī)硪粋€有趣的項目，用Python處理文本數(shù)據(jù)，一起來看看今天的問題吧2022-06-06
下面小編就為大家分享一篇python用戶管理系統(tǒng)的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2017-12-12
Python中用altzone()方法處理時區(qū)的教程
這篇文章主要介紹了Python中用altzone()方法處理時區(qū)的教程,是Python入門中的基礎知識,需要的朋友可以參考下2015-05-05
Python實現(xiàn)公歷(陽歷)轉農(nóng)歷(陰歷)的方法示例
這篇文章主要介紹了Python實現(xiàn)公歷(陽歷)轉農(nóng)歷(陰歷)的方法,涉及農(nóng)歷算法原理及Python日期運算相關操作技巧,需要的朋友可以參考下2017-08-08
Matplotlib是Python的第三方繪圖庫,它非常類似于MATLAB,在使用Matplotlib軟件包之前需要對其進行安裝,這篇文章主要給大家介紹了關于Matplotlib安裝與配置的相關資料,需要的朋友可以參考下2023-09-09
python 隊列基本定義與使用方法【初始化、賦值、判斷等】
這篇文章主要介紹了python 隊列基本定義與使用方法,結合實例形式分析了Python隊列的定義、初始化、賦值、判斷等相關操作技巧,需要的朋友可以參考下2019-10-10
今天小編就為大家分享一篇pyqt5 刪除layout中的所有widget方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
python selenium實現(xiàn)發(fā)送帶附件的郵件代碼實例
這篇文章主要介紹了python selenium實現(xiàn)發(fā)送帶附件的郵件代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12