python獲取整個網(wǎng)頁源碼的方法
更新時間：2020年08月03日 07:54:00 作者：Ly
在本篇文章里小編給大家整理的是關(guān)于python獲取整個網(wǎng)頁源碼的方法，需要的朋友們可以參考下。
1、Python中獲取整個頁面的代碼：
import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)
2、運行結(jié)果
實例擴展：
from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage(http://news.163.com/)
到此這篇關(guān)于python獲取整個網(wǎng)頁源碼的方法的文章就介紹到這了,更多相關(guān)python如何獲取整個頁面內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
線性規(guī)劃是運籌學中研究較早、發(fā)展較快、應(yīng)用廣泛、方法較成熟的一個重要分支，它是輔助人們進行科學管理的一種數(shù)學方法。研究線性約束條件下線性目標函數(shù)的極值問題的數(shù)學理論和方法2021-06-06
本文的主題是 Python 中的數(shù)字。會詳細介紹每一種數(shù)字類型，它們適用的各種運算符, 以及用于處理數(shù)字的內(nèi)建函數(shù)。在文章的末尾， 簡單介紹了幾個標準庫中用于處理數(shù)字的模塊。2014-10-10
這篇文章主要介紹了Django數(shù)據(jù)庫連接丟失問題的解決方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了Python判斷操作系統(tǒng)類型代碼分享,編寫一些跨平臺程序時經(jīng)常要用到,需要的朋友可以參考下2014-11-11
Python人工智能之路 之PyAudio 實現(xiàn)錄音 自動化交互實現(xiàn)問答
關(guān)于音頻, PyAudio 這個庫, 可以實現(xiàn)開啟麥克風錄音, 可以播放音頻文件等等。文章介紹了如何使用Python第三方庫PyAudio進行麥克風錄音然后自動播放已經(jīng)合成的語音實現(xiàn)語音交互回答,需要的朋友可以參考下2019-08-08
這篇文章主要介紹了使用Python處理EXCEL基礎(chǔ)操作篇2,如何使用Python對EXCEL數(shù)據(jù)的預處理,文中提供了解決思路和部分實現(xiàn)代碼，一起來看看吧2023-03-03
python 把文件中的每一行以數(shù)組的元素放入數(shù)組中的方法
下面小編就為大家分享一篇python 把文件中的每一行以數(shù)組的元素放入數(shù)組中的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
python中import reload __import__的區(qū)別詳解
這篇文章主要介紹了python中import reload __import__的區(qū)別詳解,需要的朋友可以參考下2017-10-10
這篇文章主要介紹了python類屬性學習深入講解，文中對于python的類屬性的理解有正在學習python的同學可以一塊學習下2021-03-03
Python實現(xiàn)遍歷大量表格文件并篩選出數(shù)據(jù)缺失率低的文件
這篇文章主要為大家詳細介紹了如何利用Python實現(xiàn)遍歷大量表格文件并篩選出表格內(nèi)數(shù)據(jù)缺失率低的文件的功能，感興趣的小伙伴可以跟隨小編一起學習一下2023-05-05