腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

Pholcus(幽靈蛛)爬蟲(chóng)軟件 v1.2

投訴報(bào)錯(cuò)

源碼大小：6.7MB
源碼語(yǔ)言：簡(jiǎn)體中文
源碼類型：國(guó)產(chǎn)軟件
源碼授權(quán)：免費(fèi)軟件
源碼類別：其它源碼
應(yīng)用平臺(tái)：Windows平臺(tái)
更新時(shí)間：2016-09-28
網(wǎng)友評(píng)分：

360通過(guò) 騰訊通過(guò) 金山通過(guò)

6.7MB

詳情介紹

Pholcus（幽靈蛛）是一款純Go語(yǔ)言編寫的支持分布式的高并發(fā)、重量級(jí)爬蟲(chóng)軟件，定位于互聯(lián)網(wǎng)數(shù)據(jù)采集，為具備一定Go或JS編程基礎(chǔ)的人提供一個(gè)只需關(guān)注規(guī)則定制的功能強(qiáng)大的爬蟲(chóng)工具。
它支持單機(jī)、服務(wù)端、客戶端三種運(yùn)行模式，擁有Web、GUI、命令行三種操作界面；規(guī)則簡(jiǎn)單靈活、批量任務(wù)并發(fā)、輸出方式豐富（mysql/mongodb/csv/excel等）、有大量Demo共享；另外它還支持橫縱向兩種抓取模式，支持模擬登錄和任務(wù)暫停、取消等一系列高級(jí)功能。
框架特點(diǎn)：
1、為具備一定Go或JS編程基礎(chǔ)的用戶提供只需關(guān)注規(guī)則定制、功能完備的重量級(jí)爬蟲(chóng)工具；
2、支持單機(jī)、服務(wù)端、客戶端三種運(yùn)行模式；
3、GUI(Windows)、Web、Cmd 三種操作界面，可通過(guò)參數(shù)控制打開(kāi)方式；
4、支持狀態(tài)控制，如暫停、恢復(fù)、停止等；
5、可控制采集量；
6、可控制并發(fā)協(xié)程數(shù)；
7、支持多采集任務(wù)并發(fā)執(zhí)行；
8、支持代理IP列表，可控制更換頻率；
9、支持采集過(guò)程隨機(jī)停歇，模擬人工行為；
10、根據(jù)規(guī)則需求，提供自定義配置輸入接口
11、有mysql、mongodb、csv、excel、原文件下載共五種輸出方式；
12、支持分批輸出，且每批數(shù)量可控；
13、支持靜態(tài)Go和動(dòng)態(tài)JS兩種采集規(guī)則，支持橫縱向兩種抓取模式，且有大量Demo；
14、持久化成功記錄，便于自動(dòng)去重；
15、序列化失敗請(qǐng)求，支持反序列化自動(dòng)重載處理；
16、采用surfer高并發(fā)下載器，支持 GET/POST/HEAD 方法及 http/https 協(xié)議，同時(shí)支持固定UserAgent自動(dòng)保存cookie與隨機(jī)大量UserAgent禁用cookie兩種模式，高度模擬瀏覽器行為，可實(shí)現(xiàn)模擬登錄等功能；
17、服務(wù)器/客戶端模式采用Teleport高并發(fā)SocketAPI框架，全雙工長(zhǎng)連接通信，內(nèi)部數(shù)據(jù)傳輸格式為JSON。

Pholcus 爬蟲(chóng)軟件

下載地址

下載錯(cuò)誤？【投訴報(bào)錯(cuò)】