Python使用urllib2模塊抓取HTML頁面資源的實例分享
更新時間：2016年05月03日 17:58:27 作者：larry
這篇文章主要介紹了Python使用urllib2模塊抓取HTML頁面資源的實例分享,將要抓取的頁面地址寫在單獨的規(guī)則列表中方便組織和重復使用,需要的朋友可以參考下
先把要抓取的網(wǎng)絡地址列在單獨的list文件中
http://m.fzitv.net/article/83440.html http://m.fzitv.net/article/83437.html http://m.fzitv.net/article/83430.html http://m.fzitv.net/article/83449.html
然后我們來看程序操作，代碼如下：
#!/usr/bin/python
import os
import sys
import urllib2
import re
def Cdown_data(fileurl, fpath, dpath):
if not os.path.exists(dpath):
os.makedirs(dpath)
try:
getfile = urllib2.urlopen(fileurl)
data = getfile.read()
f = open(fpath, 'w')
f.write(data)
f.close()
except:
print
with open('u1.list') as lines:
for line in lines:
URI = line.strip()
if '?' and '%' in URI:
continue
elif URI.count('/') == 2:
continue
elif URI.count('/') > 2:
#print URI,URI.count('/')
try:
dirpath = URI.rpartition('/')[0].split('//')[1]
#filepath = URI.split('//')[1].split('/')[1]
filepath = URI.split('//')[1]
if filepath:
print URI,filepath,dirpath
Cdown_data(URI, filepath, dirpath)
except:
print URI,'error'
相關文章
Python調(diào)用API接口實現(xiàn)人臉識別
本文主要介紹了Python調(diào)用API接口實現(xiàn)人臉識別，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
這篇文章主要介紹了Python時間戳與時間字符串互相轉換實例代碼,大家參考使用2013-11-11
gin像一個封裝了參數(shù)配置的類，使用這個類將使得大量的參數(shù)配置變得簡單清晰，本文重點給大家介紹python的gin庫的介紹和使用，感興趣的朋友跟隨小編一起看看吧2021-04-04
使用Python實現(xiàn)文本轉語音(TTS)并播放音頻
在開發(fā)涉及語音交互或需要語音提示的應用時,文本轉語音（TTS）技術是一個非常實用的工具,下面我們來看看如何使用gTTS和playsound庫將文本轉換為語音并播放音頻文件吧2025-03-03
django models里數(shù)據(jù)表插入數(shù)據(jù)id自增操作
這篇文章主要介紹了django models里數(shù)據(jù)表插入數(shù)據(jù)id自增操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
這篇文章主要介紹了Python使用pyexecjs代碼實例解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-07-07
本篇文章主要介紹了淺談Tensorflow模型的保存與恢復加載，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-04-04
Matplotlib.pyplot 三維繪圖的實現(xiàn)示例
這篇文章主要介紹了Matplotlib.pyplot 三維繪圖的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-07-07
string模塊主要包含關于字符串的處理函數(shù)，這篇文章主要介紹了Python中String模塊示例代碼，代碼簡單易懂，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-12-12
這篇文章主要介紹了Python中空格的轉義字符方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-03-03