python3.4爬蟲demo
更新時間：2019年01月22日 10:27:15 作者：chenqiangdage
今天小編就為大家分享一篇關(guān)于python3.4爬蟲demo，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
python 3.4 所寫爬蟲
僅僅是個demo，以百度圖片首頁圖片為例。能跑出圖片上的圖片；
使用 eclipse pydev 編寫：
from SpiderSimple.HtmLHelper import *
import imp
import sys
imp.reload(sys)
#sys.setdefaultencoding('utf-8')
html = getHtml('http://image.baidu.com/')
try:
getImage(html)
exit()
except Exception as e:
print(e)
HtmlHelper.py文件
上面的 SpiderSimple是自定義的包名
from urllib.request import urlopen,urlretrieve
#正則庫
import re
#打開網(wǎng)頁
def getHtml(url):
page = urlopen(url)
html = page.read()
return html
#用正則爬里面的圖片地址
def getImage(Html):
try:
#reg = r'src="(.+?\.jpg)" class'
#image = re.compile(reg)
image = re.compile(r'<img[^>]*src[=\"\']+([^\"\']*)[\"\'][^>]*>', re.I)
Html = Html.decode('utf-8')
imaglist = re.findall(image,Html)
x =0
for imagurl in imaglist:
#將圖片一個個下載到項目所在文件夾
urlretrieve(imagurl, '%s.jpg' % x)
x+=1
except Exception as e:
print(e)
要注意個大問題，python 默認編碼的問題。
有可能報UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，錯誤。這個要設置python的默認編碼為utf-8.
設置最好的方式是寫bat文件，
echo off set PYTHONIOENCODING=utf8 python -u %1
然后重啟電腦。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接
相關(guān)文章
urllib?庫，它是?Python?內(nèi)置的?HTTP?請求庫，不需要額外安裝即可使用，這篇文章主要介紹了Python?urllib?入門使用,需要的朋友可以參考下2022-11-11
這篇文章主要介紹了Pycharm如何運行.py文件的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-03-03
python如何利用paramiko執(zhí)行服務器命令
這篇文章主要介紹了python如何利用paramiko執(zhí)行服務器命令，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-11-11
這篇文章主要為大家詳細介紹了python線程池threadpool的使用方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
Pytorch實現(xiàn)常用乘法算子TensorRT的示例代碼
pytorch 用于訓練，TensorRT用于推理是很多AI應用開發(fā)的標配。大家往往更加熟悉 pytorch 的算子，而不太熟悉TensorRT的算子。本文介紹了Pytorch中常用乘法的TensorRT實現(xiàn)，感興趣的可以了解一下2022-06-06
Python利用Selenium實現(xiàn)簡單的中英互譯功能
Selenium 是一個用于 Web 應用程序測試的工具,最初是為網(wǎng)站自動化測試而開發(fā)的,可以直接運行在瀏覽器上,是 Python 的一個第三方庫,對外提供的接口能夠操作瀏覽器,從而讓瀏覽器完成自動化的操作,本文介紹了如何利用Python中的Selenium實現(xiàn)簡單的中英互譯2024-08-08
PyCharm無法識別PyQt5的2種解決方法，ModuleNotFoundError: No module named
這篇文章主要介紹了PyCharm無法識別PyQt5的兩種解決辦法，ModuleNotFoundError: No module named 'pyqt5',需要的朋友可以參考下2020-02-02
Python中Collections模塊的Counter容器類使用教程
Counter是Python標準庫提供的一個非常有用的容器,可以用來對序列中出現(xiàn)的各個元素進行計數(shù),下面就來一起看一下Python中Collections模塊的Counter容器類使用教程2016-05-05
本文主要是給大家詳細講解了Python中自帶的http模塊的使用方法和實例，非常的細致，有需要的小伙伴可以參考下2016-11-11
這篇文章主要介紹了python制作一個解壓縮軟件的方法，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-11-11