Python3實現(xiàn)爬蟲爬取趕集網(wǎng)列表功能【基于request和BeautifulSoup模塊】
更新時間：2018年12月05日 10:40:37 作者：包子源
這篇文章主要介紹了Python3實現(xiàn)爬蟲爬取趕集網(wǎng)列表功能,結(jié)合實例形式分析了Python3基于request和BeautifulSoup模塊的網(wǎng)站頁面爬取相關(guān)操作技巧,需要的朋友可以參考下
本文實例講述了Python3實現(xiàn)爬蟲爬取趕集網(wǎng)列表功能。分享給大家供大家參考，具體如下：
python3爬蟲之爬取趕集網(wǎng)列表。這幾天一直在學(xué)習(xí)使用python3爬取數(shù)據(jù)，今天記錄一下，代碼很簡單很容易上手。
首先需要安裝python3。如果還沒有安裝，可參考本站前面關(guān)于python3安裝與配置相關(guān)文章。
首先需要安裝request和BeautifulSoup兩個模塊
request是Python的HTTP網(wǎng)絡(luò)請求模塊，使用Requests可以輕而易舉的完成瀏覽器可有的任何操作
pip install requests
BeautifulSoup是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規(guī)范標(biāo)記并生成剖析樹
pip install beautifulsoup4
代碼：
from urllib import request
from bs4 import BeautifulSoup
#構(gòu)造頭文件，模擬瀏覽器訪問
url="http://xa.ganji.com/meirdjm/o2/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
page = request.Request(url,headers=headers)
# 發(fā)送請求，獲取內(nèi)容
page_info = request.urlopen(page).read().decode('utf-8')
# 將獲取到的內(nèi)容轉(zhuǎn)換成BeautifulSoup格式，并將html.parser作為解析器
soup = BeautifulSoup(page_info, 'html.parser')
# 查找所有a標(biāo)簽中class='list-info-title'
titles = soup.find_all('a',class_="list-info-title")
# 打印抓取到的title
for title in titles:
print(title.string)
結(jié)果：
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
Python中淺拷貝的四種實現(xiàn)方法小結(jié)
本文主要介紹了Python中淺拷貝的四種實現(xiàn)方法小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-11-11
這篇文章主要介紹了在Django的視圖中使用form對象的方法,Django是Python豐富多彩的開發(fā)框架中最具有人氣的一個,需要的朋友可以參考下2015-07-07
本文介紹了使用Python和QT5打包EXE文件,并在其中使用線程,打包時需要修改spec文件以加載資源文件,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2025-01-01
用python介紹4種常用的單鏈表翻轉(zhuǎn)的方法小結(jié)
這篇文章主要介紹了用python介紹4種常用的單鏈表翻轉(zhuǎn)的方法小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Django使用django-simple-captcha做驗證碼的實現(xiàn)示例
這篇文章主要介紹了Django使用django-simple-captcha做驗證碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
這篇文章主要介紹了解決Keras使用GPU資源耗盡的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要為大家分享如何利用Python中的Tkinter庫制作一個簡易的在線個性簽名生成工具，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-03-03
程序在運行過程當(dāng)中，不可避免的會出現(xiàn)一些錯誤，比如：使用了沒有賦值過的變量，使用了不存在的索引，一個數(shù)字除以0,這些錯誤在程序中，我們稱其為異常，那么如何處理這些異常呢,今天我們就來看一看2023-04-04
因為 python 已內(nèi)建了一個 pop3 的函式庫，所以我們直接用它來完成郵件的下載和處理。事實上, 如果我們不用 poplib 的話，我們還是可以完成那個例子中的所有作業(yè)：就是通過模擬 telnet的協(xié)定。2008-04-04
這篇文章主要為大家詳細(xì)介紹了tensorflow如何批量讀取圖片，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-08-08