python爬蟲_自動獲取seebug的poc實(shí)例

更新時間：2017年08月05日 08:40:04 投稿：jingxian

下面小編就為大家?guī)硪黄猵ython爬蟲_自動獲取seebug的poc實(shí)例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

簡單的寫了一個爬取www.seebug.org上poc的小玩意兒~

首先我們進(jìn)行一定的抓包分析

我們遇到的第一個問題就是seebug需要登錄才能進(jìn)行下載，這個很好處理，只需要抓取返回值200的頁面，將我們的headers信息復(fù)制下來就行了

（這里我就不放上我的headers信息了，不過headers里需要修改和注意的內(nèi)容會在下文講清楚）

headers = {
 'Host':******,
 'Connection':'close',
 'Accept':******,
 'User-Agent':******,
 'Referer':'https://www.seebug.org/vuldb/ssvid-',
 'Accept-Language':'zh-CN,zh;q=0.8',
 'Cookie':***********
}

由上所知，我們的中點(diǎn)就是referer這一項(xiàng)，是我們后面要進(jìn)行修改的

那么怎么去修改這個呢？

我先進(jìn)行點(diǎn)擊下載鏈接抓包發(fā)現(xiàn)，seebug的poc下載鏈接特別的整齊：

'https://www.seebug.org/vuldb/downloadPoc/xxxxx',

后面只需要加上一個五位數(shù)就行，而且五位數(shù)是連號的哦！

這就一目了然，我更改了五位數(shù)再次進(jìn)行請求時發(fā)現(xiàn)，并沒有返回美麗的200狀態(tài)碼，瞄了一眼header，發(fā)現(xiàn)了referer這一項(xiàng)：

'Referer':'https://www.seebug.org/vuldb/ssvid-xxxxx'

也就是說referer這一項(xiàng)的五位數(shù)字也要隨之變化，這樣我們的get請求頭部就完成了

接下來是線程的問題

使用了queue和threading進(jìn)行多線程處理，發(fā)現(xiàn)我們不能圖快，不然會被反爬蟲發(fā)現(xiàn)

于是導(dǎo)入time增加time.sleep(1)，能有一秒的休眠就行了，線程數(shù)給了2個（這樣看來好像線程的意義并不大，不過也就這么寫啦）

# coding=utf-8

import requests
import threading
import Queueimport time 

headers = {
   ******
  }
url_download = 'https://www.seebug.org/vuldb/downloadPoc/'

class SeeBugPoc(threading.Thread):
 def __init__(self,queue):
  threading.Thread.__init__(self)
  self._queue = queue

 def run(self):
  while not self._queue.empty():
   url_download = self._queue.get_nowait()
   self.download_file(url_download)


 def download_file(self,url_download):
  r = requests.get(url = url_download,headers = headers)
  print r.status_code
  name = url_download.split('/')[-1]
  print name 
  if r.status_code == 200:
   f = open('E:/poc/'+name+'.txt','w')
   f.write(r.content)
   f.close()
   print 'it ok!'
  else:
   print 'what fuck !'
  time.sleep(1)
'''
 def get_html(self,url):

  r = requests.get(url = url,headers = headers)
  print r.status_code
  print time.time()
'''


def main():
 queue = Queue.Queue()
 for i in range(93000,93236):
  headers['Referer'] = 'https://www.seebug.org/vuldb/ssvid-'+str(i)
  queue.put('https://www.seebug.org/vuldb/downloadPoc/'+str(i))


  #queue用來存放設(shè)計好的url，將他們放入一個隊(duì)列中，以便后面取用

 threads = []
 thread_count = 2
 for i in range(thread_count):
  threads.append(SeeBugPoc(queue))

 for i in threads:
  i.start()

 for i in threads:
  i.join()

if __name__ == '__main__':
 main()

代碼如上

控制下載的range()中的兩個五位數(shù)，大家只要去seebug庫中找一找想要掃描的庫的開頭和結(jié)尾編碼的五位數(shù)就行了（也就是他們的編號）

關(guān)于返回的狀態(tài)碼，如果項(xiàng)目不提供poc下載、poc下載不存在、poc需要兌換幣才能下載，就不能夠返回正常的200啦（非正常：404/403/521等）

當(dāng)然，如果一直出現(xiàn)521，可以考慮刷新網(wǎng)頁重新獲取header并修改代碼

最后進(jìn)行一個狀態(tài)碼的判斷，并且將200的文件寫出來就好了

（

　　表示慚愧感覺自己寫的很簡單

　　如果大家發(fā)現(xiàn)錯誤或者有疑惑可以留言討論哦

）

以上這篇python爬蟲_自動獲取seebug的poc實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: