快捷導(dǎo)航

Python3.4編程實(shí)現(xiàn)簡(jiǎn)單抓取爬蟲(chóng)功能示例

更新時(shí)間：2017年09月14日 09:13:48 作者：macwhirr123

這篇文章主要介紹了Python3.4編程實(shí)現(xiàn)簡(jiǎn)單抓取爬蟲(chóng)功能,涉及Python3.4網(wǎng)頁(yè)抓取及正則解析相關(guān)操作技巧,需要的朋友可以參考下

本文實(shí)例講述了Python3.4編程實(shí)現(xiàn)簡(jiǎn)單抓取爬蟲(chóng)功能。分享給大家供大家參考，具體如下：

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專(zhuān)題：《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門(mén)與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

springboot aop方式實(shí)現(xiàn)接口入?yún)⑿ｒ?yàn)的示例代碼
在實(shí)際開(kāi)發(fā)項(xiàng)目中,我們常常需要對(duì)接口入?yún)⑦M(jìn)行校驗(yàn),本文主要介紹了springboot aop方式實(shí)現(xiàn)接口入?yún)⑿ｒ?yàn)的示例代碼,具有一定的參考價(jià)值,感興趣的可以了解一下
2023-08-08
Python中性能分析利器pyinstrument詳細(xì)講解
大家好，本篇文章主要講的是Python中性能分析利器pyinstrument詳細(xì)講解，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話(huà)記得收藏一下
2022-02-02
python 爬蟲(chóng)如何正確的使用cookie
這篇文章主要介紹了python 爬蟲(chóng)如何使用cookie，幫助大家繞過(guò)網(wǎng)站設(shè)置的登錄規(guī)則以及登錄時(shí)的驗(yàn)證碼識(shí)別，完成自身的爬取需求，感興趣的朋友可以了解下
2020-10-10
python單例模式獲取IP代理的方法詳解
在使用python對(duì)網(wǎng)頁(yè)進(jìn)程訪問(wèn)時(shí),以防被禁止,可用使用代理IP的方法減少被禁的可能，下面這篇文章主要給大家介紹了關(guān)于python單例模式獲取IP代理的相關(guān)資料，需要的朋友可以參考借鑒，下面來(lái)一起看看吧
2018-09-09
解決Tkinter中button按鈕未按卻主動(dòng)執(zhí)行command函數(shù)的問(wèn)題
這篇文章主要介紹了解決Tkinter中button按鈕未按卻主動(dòng)執(zhí)行command函數(shù)的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-05-05
python對(duì)文件目錄的操作方法實(shí)例總結(jié)
這篇文章主要介紹了python對(duì)文件目錄的操作方法,結(jié)合實(shí)例形式總結(jié)分析了Python針對(duì)文件目錄相關(guān)的遍歷、刪除、移動(dòng)、查找等操作技巧,需要的朋友可以參考下
2019-06-06
Python使用BeautifulSoup進(jìn)行頁(yè)面解析
在Python中,我們可以使用BeautifulSoup庫(kù)來(lái)解析網(wǎng)頁(yè),BeautifulSoup提供了簡(jiǎn)單而強(qiáng)大的API,使得解析網(wǎng)頁(yè)變得輕松而高效,下面小編就來(lái)為大家詳細(xì)講講BeautifulSoup解析網(wǎng)頁(yè)的具體操作吧
2023-09-09
Python中操作mysql的pymysql模塊詳解
這篇文章給大家演示了如何安裝以及使用Python中操作mysql的pymysql模塊，本文介紹的很詳細(xì)，對(duì)大家學(xué)習(xí)Python具有一定參考借鑒價(jià)值，有需要的朋友們一起來(lái)看看吧。
2016-09-09
python ftplib模塊使用代碼實(shí)例
這篇文章主要介紹了python ftplib模塊使用代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-12-12
win10環(huán)境下配置vscode python開(kāi)發(fā)環(huán)境的教程詳解
這篇文章主要介紹了win10環(huán)境下配置python開(kāi)發(fā)環(huán)境(vscode)的教程，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
2019-10-10