urllib和BeautifulSoup爬取維基百科的詞條簡單實例
更新時間：2018年01月17日 14:08:41 作者：powerpoint_2016
這篇文章主要介紹了urllib和BeautifulSoup爬取維基百科的詞條簡單實例，具有一定借鑒價值,需要的朋友可以參考下
本文實例主要實現(xiàn)的是使用urllib和BeautifulSoup爬取維基百科的詞條，具體如下。
簡潔代碼：
#引入開發(fā)包
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
#請求URL并把結果用UTF-8編碼
resp=urlopen("https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5").read().decode("utf-8")
#使用BeautifulSoup去解析
soup=BeautifulSoup(resp,"html.parser")
#print(soup)
#獲取所有以/wiki/開頭的a標簽的href屬性
listUrl=soup.findAll("a",href=re.compile("^/wiki/"))
#輸出所有詞條對應的名稱和URL
for link in listUrl:
if not re.search("\.(jpg|JPG)$",link["href"]):
print(link.get_text(),"<----->","https://zh.wikipedia.org"+link["href"])
運行結果：
總結
總的來說，Python是簡潔而又強大的，調(diào)用幾個庫，就能實現(xiàn)其他語言一大堆代碼才能實現(xiàn)的功能。
以上就是本文關于urllib和BeautifulSoup爬取維基百科的詞條簡單實例的全部內(nèi)容，希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關專題，如有不足之處，歡迎留言指出。感謝朋友們對本站的支持！
相關文章
Python抓取聚劃算商品分析頁面獲取商品信息并以XML格式保存到本地
這篇文章主要為大家詳細介紹了Python抓取聚劃算商品分析頁面獲取商品信息，并以XML格式保存到本地的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-02-02
基于python實現(xiàn)監(jiān)聽Rabbitmq系統(tǒng)日志代碼示例
這篇文章主要介紹了基于python實現(xiàn)監(jiān)聽Rabbitmq系統(tǒng)日志代碼示例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了python 獲取域名到期時間的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-02-02
在本篇內(nèi)容里小編給大家分享了關于Python數(shù)據(jù)抓取爬蟲代理防封IP方法講解，需要的朋友們可以跟著學習下。2018-12-12
Python實現(xiàn)優(yōu)先級隊列結構的方法詳解
優(yōu)先級隊列(priority queue)是0個或多個元素的集合,每個元素都有一個優(yōu)先權,接下來就來看一下簡潔的Python實現(xiàn)優(yōu)先級隊列結構的方法詳解:2016-06-06
今天小編就為大家分享一篇對python中if語句的真假判斷實例詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
列表是一種有序的集合，可以隨時添加和刪除其中的元素。在python中使用的頻率非常高，本篇文章對大家的學習或工作具有一定的價值，需要的朋友可以參考下2021-09-09
這篇文章主要介紹了Python實現(xiàn)粒子群算法詳解,粒子群算法，縮寫為PSO(Particle Swarm Optimization)，是一種非線性尋優(yōu)算法，其特點是實現(xiàn)簡單、收斂速度快，對多元函數(shù)的局部最優(yōu)有較好的克服能力,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了Python迭代器、生成器、協(xié)程使用方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要介紹了python獲取本機mac地址和ip地址的方法,涉及Python獲取系統(tǒng)相關信息的技巧,需要的朋友可以參考下2015-04-04