腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

小米范網(wǎng)站批量爬蟲(chóng)工具 1.4 中文免費(fèi)版

網(wǎng)絡(luò)爬蟲(chóng)軟件下載

投訴報(bào)錯(cuò)

軟件大小：59.6MB
軟件語(yǔ)言：簡(jiǎn)體中文
軟件類型：國(guó)產(chǎn)軟件
軟件授權(quán)：免費(fèi)軟件
軟件類別：網(wǎng)絡(luò)輔助
應(yīng)用平臺(tái)：Windows平臺(tái)
更新時(shí)間：2016-09-29
網(wǎng)友評(píng)分：

360通過(guò) 騰訊通過(guò) 金山通過(guò)

59.6MB

詳情介紹

小米范網(wǎng)站批量爬蟲(chóng)工具是一款網(wǎng)站輔助的小工具，它能針對(duì)網(wǎng)站進(jìn)行快速批量的爬取，小米范網(wǎng)站批量爬蟲(chóng)工具能將爬取的URL進(jìn)一步調(diào)用wvs、sqlmap、brutexss等工具進(jìn)行檢測(cè)，挺實(shí)用，也蠻簡(jiǎn)單，需要的朋友們可以下載試試吧！

使用方法

隨便點(diǎn)擊下面的任一個(gè)文件

出現(xiàn)如下界面時(shí)，點(diǎn)任意鍵運(yùn)行。

打開(kāi)軟件界面后，點(diǎn)擊新建任務(wù)，輸入要檢測(cè)的URL。

設(shè)置子域名白名單，屬于白名單域名的URL則自動(dòng)保留并進(jìn)行抓取。
設(shè)置并發(fā)站點(diǎn)、并發(fā)線程等參數(shù)，點(diǎn)擊開(kāi)始即可。

工作流程
假設(shè)我們新建任務(wù)，放入100個(gè)URL作為爬蟲(chóng)的起始URL，那么具體的爬取過(guò)程如下：
1、針對(duì)這100個(gè)URL，按照是否同源進(jìn)行合并，同源的URL則放入一個(gè)目標(biāo)，并將這些URL作為這個(gè)源的起始URL。
2、針對(duì)每個(gè)目標(biāo)進(jìn)行爬?。J(rèn)并發(fā)5個(gè)目標(biāo)），針對(duì)每個(gè)目標(biāo)的起始URL采用瀏覽器點(diǎn)擊抓包（默認(rèn)每個(gè)目標(biāo)最多開(kāi)5個(gè)瀏覽器）+HTML解析的方式獲取URL，瀏覽器點(diǎn)擊在后臺(tái)運(yùn)行，沒(méi)有界面，這里的瀏覽器點(diǎn)只是在點(diǎn)擊后將發(fā)出去的請(qǐng)求URL記錄，但并不真正發(fā)出去請(qǐng)求。
3、將前兩步收集到的URL作為種子，進(jìn)行傳統(tǒng)的爬取，這里的爬取主要采用了webmagic框架，并對(duì)框架本身做了一點(diǎn)修改。另外每一個(gè)頁(yè)面下載之前會(huì)進(jìn)行爬取URL黑名單匹配，匹配到黑名單則跳過(guò)，下載到的每個(gè)頁(yè)面提取出來(lái)的URL會(huì)進(jìn)行子域名白名單匹配，匹配到白名單則會(huì)放入爬取隊(duì)列。
針對(duì)爬到的URL可直接右鍵使用sqlmap、brutexss、panoptic、wvs進(jìn)行安全檢測(cè)，目前還在考慮再加入一些其他的檢測(cè)工具。
此外也提供了目錄掃描功能，在左側(cè)樹(shù)形結(jié)構(gòu)的任意節(jié)點(diǎn)右鍵目錄掃描會(huì)對(duì)當(dāng)前選中節(jié)點(diǎn)所在的路徑進(jìn)行目錄掃描。

小米范網(wǎng)站批量爬蟲(chóng) 爬蟲(chóng)工具

下載地址

下載錯(cuò)誤？【投訴報(bào)錯(cuò)】