python提取頁面內(nèi)url列表的方法
更新時間：2015年05月25日 12:27:51 作者：小蘿莉
這篇文章主要介紹了python提取頁面內(nèi)url列表的方法,涉及Python操作頁面元素的相關(guān)技巧,需要的朋友可以參考下
本文實(shí)例講述了python提取頁面內(nèi)url列表的方法。分享給大家供大家參考。具體實(shí)現(xiàn)方法如下：
from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage("http://news.163.com/")
希望本文所述對大家的Python程序設(shè)計(jì)有所幫助。
您可能感興趣的文章:
相關(guān)文章
Python在OpenCV里實(shí)現(xiàn)極坐標(biāo)變換功能
這篇文章主要介紹了在OpenCV里實(shí)現(xiàn)極坐標(biāo)變換功能，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-09-09
Python編程實(shí)現(xiàn)兩個文件夾里文件的對比功能示例【包含內(nèi)容的對比】
這篇文章主要介紹了Python編程實(shí)現(xiàn)兩個文件夾里文件的對比功能,包含內(nèi)容的對比操作,涉及Python文件與目錄的遍歷、比較、運(yùn)算等相關(guān)操作技巧,需要的朋友可以參考下2017-06-06
相信python的開發(fā)者對于python的鴨子類型比較熟悉，鴨子類型在維基百科中的準(zhǔn)確定義是‘是動態(tài)類型的一種風(fēng)格。在這種風(fēng)格中，一個對象有效的語義，不是由繼承自特定的類或?qū)崿F(xiàn)特定的接口，而是由"當(dāng)前方法和屬性的集合"決定’。所以這篇文章給大家python的鴨子類型。2016-09-09
Python3.5內(nèi)置模塊之time與datetime模塊用法實(shí)例分析
這篇文章主要介紹了Python3.5內(nèi)置模塊之time與datetime模塊用法,結(jié)合實(shí)例形式分析了Python3.5 time與datetime模塊日期時間相關(guān)操作技巧,需要的朋友可以參考下2019-04-04
Python作為一個“內(nèi)置電池”的編程語言，標(biāo)準(zhǔn)庫里面擁有非常多好用的模塊。比如今天想給大家 介紹的 collections 就是一個非常好的例子2014-04-04
python定時復(fù)制遠(yuǎn)程文件夾中所有文件
這篇文章主要為大家詳細(xì)介紹了python定時復(fù)制遠(yuǎn)程文件夾中所有文件，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-04-04
python實(shí)現(xiàn)微信機(jī)器人： 登錄微信、消息接收、自動回復(fù)功能
這篇文章主要介紹了python實(shí)現(xiàn)微信機(jī)器人： 登錄微信、消息接收、自動回復(fù)功能，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
這篇文章主要介紹了如何用Python制作在地圖上模擬瘟疫擴(kuò)散的Gif圖,其中用到了歐拉公式等數(shù)學(xué)知識、需要一定的算法基礎(chǔ)，需要的朋友可以參考下2015-03-03
PyQt彈出式對話框的常用方法及標(biāo)準(zhǔn)按鈕類型
這篇文章主要為大家詳細(xì)介紹了PyQt彈出式對話框的常用方法及標(biāo)準(zhǔn)按鈕類型，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-02-02
python實(shí)現(xiàn)復(fù)制大量文件功能
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)復(fù)制大量文件功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-08-08