快捷導(dǎo)航

Python編寫百度貼吧的簡單爬蟲

更新時(shí)間：2015年04月02日 09:31:23 投稿：hebedich

這篇文章主要介紹了Python編寫百度貼吧的簡單爬蟲，簡單實(shí)現(xiàn)了下載對應(yīng)頁碼的頁面并存為以當(dāng)前時(shí)間命名的html文件，這里分享給大家，拋磚引玉。

操作：輸入帶分頁的地址，去掉最后面的數(shù)字，設(shè)置一下起始頁數(shù)和終點(diǎn)頁數(shù)

功能：下載對應(yīng)頁碼的所有頁面并儲(chǔ)存為HTML文件，以當(dāng)前時(shí)間命名

代碼：

# -*- coding: utf-8 -*-
 
#----------------------------
#  程序：百度貼吧的小爬蟲
#  日期：2015/03/28
#  語言：Python 2.7
#  操作：輸入帶分頁的地址，去掉最后面的數(shù)字，設(shè)置一下起始頁數(shù)和終點(diǎn)頁數(shù)
#  功能：下載對應(yīng)頁碼的所有頁面并儲(chǔ)存為HTML文件，以當(dāng)前時(shí)間命名
#----------------------------
 
import urllib2
import time
 
def baidu_tieba(url, start, end):
  for i in range(start, end):
    sName = time.strftime('%Y%m%d%H%M%S') + str(i) + '.html'
    print '正在下載第' + str(i) + '個(gè)網(wǎng)頁，并將其儲(chǔ)存為' + sName + '...'
    f = open(sName, 'w+')
    m = urllib2.urlopen(url+str(i))
    n = m.read()
    f.write(n)
    f.close()
  print '成功下載'
     
baiduurl = str(raw_input('請輸入貼子的地址,去掉pn后面的數(shù)字>>\n'))
begin_page = int(raw_input('請輸入帖子的起始頁碼>>\n'))
end_page = int(raw_input('請輸入帖子的終止頁碼>>\n'))        
 
baidu_tieba(baiduurl, begin_page, end_page)

以上所述就是本文的全部內(nèi)容了，希望能夠?qū)Υ蠹覍W(xué)習(xí)Python制作爬蟲有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python經(jīng)驗(yàn)總結(jié):兩種Type?Error問題
這篇文章主要介紹了Python經(jīng)驗(yàn)總結(jié):兩種Type?Error問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-09-09
Mysql分組查詢group by與with rollup方式
這篇文章主要介紹了Mysql分組查詢group by與with rollup方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-08-08
Python使用py2neo操作圖數(shù)據(jù)庫neo4j的方法詳解
這篇文章主要介紹了Python使用py2neo操作圖數(shù)據(jù)庫neo4j的方法,結(jié)合實(shí)例形式詳細(xì)分析了Python使用py2neo操作圖數(shù)據(jù)庫neo4j的具體步驟、原理、相關(guān)使用技巧與操作注意事項(xiàng),需要的朋友可以參考下
2020-01-01
對Python中for復(fù)合語句的使用示例講解
今天小編就為大家分享一篇對Python中for復(fù)合語句的使用示例講解，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-11-11
如何在Python函數(shù)執(zhí)行前后增加額外的行為
有的時(shí)候會(huì)需要在函數(shù)前后添點(diǎn)額外的功能（比如過濾、計(jì)時(shí)等）時(shí)，以前總是首先想到裝飾器。最近學(xué)習(xí)了Python的上下文管理器，所以本文就給大家介紹了如何在Python函數(shù)執(zhí)行前后增加額外的行為，有需要的朋友們可以參考借鑒，下面來一起看看吧。
2016-10-10
python得到qq句柄,并顯示在前臺(tái)的方法
今天小編就為大家分享一篇python得到qq句柄,并顯示在前臺(tái)的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-10-10
淺談django 模型類使用save()方法的好處與注意事項(xiàng)
這篇文章主要介紹了淺談django 模型類使用save()方法的好處與注意事項(xiàng)，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-03-03
windows下的pycharm安裝及其設(shè)置中文菜單
這篇文章主要介紹了windows下的pycharm安裝及其設(shè)置中文菜單，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-04-04
基于Python實(shí)現(xiàn)報(bào)表自動(dòng)化并發(fā)送到郵箱
作為數(shù)據(jù)分析師，我們需要經(jīng)常制作統(tǒng)計(jì)分析圖表。但是報(bào)表太多的時(shí)候往往需要花費(fèi)我們大部分時(shí)間去制作報(bào)表。本文將利用Python實(shí)現(xiàn)報(bào)表自動(dòng)化并發(fā)送到郵箱，需要的可以參考一下
2022-07-07
Linux下python3.7.0安裝教程
這篇文章主要為大家詳細(xì)介紹了Linux下python3.7.0安裝教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-07-07