Python抓取Discuz!用戶名腳本代碼

更新時間：2013年12月30日 17:18:37 作者：

這篇文章主要介紹了Python抓取Discuz!用戶名腳本代碼，有需要的朋友可以參考一下

最近學習Python，于是就用Python寫了一個抓取Discuz!用戶名的腳本，代碼很少但是很搓。思路很簡單，就是正則匹配title然后提取用戶名寫入文本文檔。程序以百度站長社區(qū)為例(一共有40多萬用戶)，掛在VPS上就沒管了，雖然用了延時但是后來發(fā)現(xiàn)一共只抓取了50000多個用戶名就被封了。。。
代碼如下：

復制代碼代碼如下:

# -*- coding: utf-8 -*-
# Author: 天一
# Blog: http://www.90blog.org
# Version: 1.0
# 功能: Python抓取百度站長平臺用戶名腳本

import urllib
import urllib2  
import re
import time

def BiduSpider():
     pattern = re.compile(r'<title>(.*)的個人資料  百度站長社區(qū) </title>')
     uid=1
     thedatas = []
     while uid <400000:
         theUrl = "http://bbs.zhanzhang.baidu.com/home.php?mod=space&uid="+str(uid)
         uid +=1
         theResponse  = urllib2.urlopen(theUrl)
         thePage = theResponse.read()
         #正則匹配用戶名
         theFindall = re.findall(pattern,thePage)
         #等待0.5秒，以防頻繁訪問被禁止
         time.sleep(0.5)
         if theFindall :
              #中文編碼防止亂碼輸出
              thedatas = theFindall[0].decode('utf-8').encode('gbk')
              #寫入txt文本文檔
              f = open('theUid.txt','a')
              f.writelines(thedatas+'\n')
              f.close()

if __name__ == '__main__':
     BiduSpider()

最終成果如下：

您可能感興趣的文章:

使用python實現(xiàn)kmean算法
這篇文章主要介紹了使用python實現(xiàn)kmean算法,kmean 是無監(jiān)督學習的一種算法，主要是用來進行聚類分析的，他會在數(shù)據(jù)集中算出幾個點作為簇中心，求這些數(shù)據(jù)集與這些簇中心的距離，并將距離同一個簇中心距離最近的數(shù)據(jù)歸為一類,需要的朋友可以參考下
2023-04-04
python fabric實現(xiàn)遠程操作和部署示例
這篇文章主要介紹了python使用fabric實現(xiàn)遠程操作和部署示例,需要的朋友可以參考下
2014-03-03
詳解Python中數(shù)據(jù)處理的方法總結及實現(xiàn)
數(shù)據(jù)增強作為前處理的關鍵步驟，在整個計算機視覺中有著具足輕重的地位。本文為大家總結了Python中數(shù)據(jù)處理的方法及實現(xiàn)，需要的可以參考一下
2022-09-09
python Timer 類使用介紹
這篇文章主要介紹了python Timer 類使用介紹的相關資料，幫助大家更好的理解和使用python iupdatable包，感興趣的朋友可以了解下
2020-12-12
Python yield的使用詳解
您可能聽說過，帶有 yield 的函數(shù)在 Python 中被稱之為、generator（生成器），何謂 generator ？我們先拋開 generator，以一個常見的編程題目來展示 yield 的概念
2021-10-10
Python如何使用PIL Image制作GIF圖片
這篇文章主要介紹了Python如何使用PIL Image制作GIF圖片,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-05-05
pyqt5中動畫的使用詳解
這篇文章主要介紹了pyqt5中動畫的使用詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-04-04
python自動化測試之從命令行運行測試用例with verbosity
這篇文章主要介紹了python自動化測試之從命令行運行測試用例with verbosity,是一個較為經(jīng)典的自動化測試實例,需要的朋友可以參考下
2014-09-09
Python實戰(zhàn)之實現(xiàn)簡易的學生選課系統(tǒng)
又到了小伙伴們最喜歡的python實戰(zhàn)環(huán)節(jié),文中對實現(xiàn)簡易的學生選課系統(tǒng)作了非常詳細的代碼示例,對正在學習python的小伙伴們有很好的幫助,需要的朋友可以參考下
2021-05-05
python+mysql實現(xiàn)學生信息查詢系統(tǒng)
這篇文章主要為大家詳細介紹了python+mysql實現(xiàn)學生信息查詢系統(tǒng)，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2019-02-02