腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

網(wǎng)絡(luò)爬蟲(chóng)工具(NWebCrawler) v1.0.1 綠色英文版

投訴報(bào)錯(cuò)

軟件大小：112KB
軟件語(yǔ)言：英文軟件
軟件類型：國(guó)外軟件
軟件授權(quán)：免費(fèi)軟件
軟件類別：瀏覽輔助
應(yīng)用平臺(tái)：Windows平臺(tái)
更新時(shí)間：2015-06-25
網(wǎng)友評(píng)分：

360通過(guò) 騰訊通過(guò) 金山通過(guò)

112KB

詳情介紹

網(wǎng)絡(luò)爬蟲(chóng)是一款一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動(dòng)索引，模擬程序或者蠕蟲(chóng)，該又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者，歡迎需要的下載！
軟件介紹：NwebCrawler是用C#寫(xiě)的一款多線程網(wǎng)絡(luò)爬蟲(chóng)程序，它的實(shí)現(xiàn)原理是先輸入一個(gè)或多個(gè)種子URL到隊(duì)列中，然后從隊(duì)列中提取URL（先進(jìn)先出原則），分析此網(wǎng)頁(yè)尋找相應(yīng)標(biāo)簽并獲得其href屬性值，爬取有用的鏈接網(wǎng)頁(yè)并存入網(wǎng)頁(yè)庫(kù)中，其中用爬取歷史來(lái)記錄爬過(guò)的網(wǎng)頁(yè)，這樣避免了重復(fù)爬取。提取URL存入隊(duì)列中，進(jìn)行下一輪爬取。所以NwebCrawler的搜索策略為廣度優(yōu)先搜索。采用廣度優(yōu)先策略有利于多個(gè)線程并行爬取而且抓取的封閉性很強(qiáng)。
功能介紹：可配置：線程數(shù)，等待時(shí)間，連接超時(shí)，允許MIME類型和優(yōu)先級(jí)，下載文件夾。
統(tǒng)計(jì)信息：URL數(shù)量，總下載文件，總下載字節(jié)數(shù)，CPU利用率和可用內(nèi)存。
Preferential crawler：用戶可以設(shè)置優(yōu)先級(jí)的MIME類型。
Robust: 10+ URL normalization rules, crawler trap avoiding rules.

網(wǎng)絡(luò)爬蟲(chóng) NWebCrawler

下載地址

下載錯(cuò)誤？【投訴報(bào)錯(cuò)】