Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲功能示例
本文實(shí)例講述了Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲功能。分享給大家供大家參考，具體如下：
爬取的目標(biāo)網(wǎng)頁(yè)：http://www.qianlima.com/zb/area_305/
這是一個(gè)招投標(biāo)網(wǎng)站，我們使用python腳本爬取紅框中的信息，包括鏈接網(wǎng)址、鏈接名稱、時(shí)間等三項(xiàng)內(nèi)容。
使用到的Python庫(kù)：BeautifulSoup、requests
代碼如下：
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#連接
content = r.text#獲取內(nèi)容，自動(dòng)轉(zhuǎn)碼unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
print tag.get('href')
print tag.string
print tag.next_element.next_element.string
運(yùn)行結(jié)果如下
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
- Python進(jìn)階多線程爬取網(wǎng)頁(yè)項(xiàng)目實(shí)戰(zhàn)
- Python進(jìn)階篇之多線程爬取網(wǎng)頁(yè)
- python爬蟲beautifulsoup庫(kù)使用操作教程全解(python爬蟲基礎(chǔ)入門)
- python爬蟲利器之requests庫(kù)的用法(超全面的爬取網(wǎng)頁(yè)案例)
- Python3實(shí)現(xiàn)爬蟲爬取趕集網(wǎng)列表功能【基于request和BeautifulSoup模塊】
- Python爬取求職網(wǎng)requests庫(kù)和BeautifulSoup庫(kù)使用詳解
相關(guān)文章
Python 函數(shù)編編程的三大法寶map+filter+reduce分享
這篇文章主要介紹了Python 函數(shù)編編程的三大法寶map,filter,reduce的分享,python利用 map 在一個(gè)可迭代對(duì)象的各項(xiàng)上調(diào)用函數(shù)的工具;利用 filter 來(lái)過(guò)濾項(xiàng);利用 reduce 把函數(shù)作用在成對(duì)的項(xiàng)上來(lái)運(yùn)行結(jié)果的工具,下面我們就來(lái)對(duì)這三者進(jìn)行詳細(xì)的介紹,需要的朋友可以參考下2022-03-03
Python 用三行代碼提取PDF表格數(shù)據(jù)
這篇文章主要介紹了Python 用三行代碼提取PDF表格數(shù)據(jù),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
python框架django項(xiàng)目部署相關(guān)知識(shí)詳解
這篇文章主要介紹了python框架django項(xiàng)目部署相關(guān)知識(shí)詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
使用python創(chuàng)建生成動(dòng)態(tài)鏈接庫(kù)dll的方法
這篇文章主要介紹了使用python創(chuàng)建生成動(dòng)態(tài)鏈接庫(kù)dll的方法，本文通過(guò)示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-05-05
python使用遞歸實(shí)現(xiàn)斐波那契數(shù)列的示例詳解
這篇文章主要給大家介紹了python使用遞歸實(shí)現(xiàn)斐波那契數(shù)列的示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起來(lái)學(xué)習(xí)吧2024-01-01
這篇文章主要介紹了Python中的index()方法使用教程,是Python入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
這篇文章主要為大家詳細(xì)介紹了python采集微信公眾號(hào)文章的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-12-12
Python基本數(shù)據(jù)結(jié)構(gòu)與用法詳解【列表、元組、集合、字典】
這篇文章主要介紹了Python基本數(shù)據(jù)結(jié)構(gòu)與用法,結(jié)合實(shí)例形式分析了Python基本數(shù)據(jù)結(jié)構(gòu)中的列表、元組、集合、字典相關(guān)概念、使用方法及推導(dǎo)式、遍歷等相關(guān)使用技巧,需要的朋友可以參考下2019-03-03
Python通過(guò)dxfgrabber庫(kù)實(shí)現(xiàn)獲取CAD信息
dxfgrabber?是一個(gè)?Python?庫(kù)，用于讀取和解析?AutoCAD?DXF（Drawing?Exchange?Format）文件，本文就來(lái)教教大家如何利用dxfgrabber庫(kù)實(shí)現(xiàn)獲取CAD信息吧2023-06-06
itertools 是python的迭代器模塊，itertools提供的生成迭代器的函數(shù)，相當(dāng)高效且節(jié)省內(nèi)存。使用這些工具，你將能夠創(chuàng)建自己定制的迭代器用于高效率的循環(huán)。接下來(lái)通過(guò)本文給大家介紹python中itertools模塊使用，感興趣的朋友一起看看吧2021-11-11