Python簡單實現(xiàn)網(wǎng)頁內(nèi)容抓取功能示例
更新時間：2018年06月07日 08:43:54 作者：偶-木
這篇文章主要介紹了Python簡單實現(xiàn)網(wǎng)頁內(nèi)容抓取功能,結合實例形式分析了Python基于urllib模塊的網(wǎng)頁請求、內(nèi)容讀取等相關操作技巧,需要的朋友可以參考下
本文實例講述了Python簡單實現(xiàn)網(wǎng)頁內(nèi)容抓取功能。分享給大家供大家參考，具體如下：
使用模塊：
import urllib2 import urllib
普通抓取實例：
#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2 url = 'http://www.baidu.com' #創(chuàng)建request對象 request = urllib2.Request(url) #發(fā)送請求，獲取結果 try: response = urllib2.urlopen(request) except BaseException, err: print err exit() #獲取狀態(tài)碼，如果是200表示獲取成功 code = response.getcode() print code #讀取內(nèi)容 if 200 == code: content = response.read() print content
Get請求抓取實例：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的請求
url = 'http://www.baidu.com/s'
values = {'wd' : '車云'}
# 必須編碼
data = urllib.urlencode(values)
url = url + '?' + data
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#創(chuàng)建request對象
request = urllib2.Request(url)
#發(fā)送請求，獲取結果
try:
response = urllib2.urlopen(request)
except BaseException, err:
print err
exit()
#獲取狀態(tài)碼，如果是200表示獲取成功
code = response.getcode()
print code
#讀取內(nèi)容
if 200 == code:
content = response.read()
print content
更多關于Python相關內(nèi)容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章
Python實現(xiàn)在PDF中添加數(shù)字簽名
無論是商業(yè)文件、法律文件還是個人文件,都可能需要證明其來源的真實性和完整性,PDF數(shù)字簽名就是解決這些問題的關鍵工具,下面我們來看看如何使用?Python?為PDF文檔添加數(shù)字簽名吧2025-01-01
這篇文章主要介紹了django-drf框架自帶的路由以及最簡化的視圖,本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2019-09-09
這篇文章主要介紹了pandas之數(shù)據(jù)修改與基本運算方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
python使用協(xié)程實現(xiàn)并發(fā)操作的方法詳解
這篇文章主要介紹了python使用協(xié)程實現(xiàn)并發(fā)操作的方法,結合實例形式詳細分析了Python協(xié)程的原理及使用Gevent實現(xiàn)協(xié)程操作的相關技巧與操作注意事項,需要的朋友可以參考下2019-12-12
Python和OpenCV庫實現(xiàn)識別人物出現(xiàn)并鎖定
本文主要介紹了Python和OpenCV庫實現(xiàn)識別人物出現(xiàn)并鎖定，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04
這篇文章主要為大家詳細介紹了Python入門必須知道的11個知識點，幫助更好地了解python，感興趣的小伙伴們可以參考一下2018-03-03
python使用MQTT給硬件傳輸圖片的實現(xiàn)方法
最近因需要用python寫一個微服務來用MQTT給硬件傳輸圖片，其中python用的是flask框架。這篇文章主要介紹了python使用MQTT給硬件傳輸圖片,需要的朋友可以參考下2019-05-05
在本篇內(nèi)容里小編給大家整理的是關于python中元組的用法及相關實例，需要的朋友們可以學習下。2020-06-06
Python實現(xiàn)獲取網(wǎng)站PR及百度權重
這篇文章主要介紹了Python實現(xiàn)獲取網(wǎng)站PR及百度權重,本文使用傳參的方式請求站長工具和谷歌工具獲取PR值和百度權重,需要的朋友可以參考下2015-01-01
這篇文章主要介紹了python清除字符串里非字母字符的方法,涉及Python字符串正則替換操作的相關技巧,需要的朋友可以參考下2015-07-07