Go語言并發(fā)爬蟲的具體實(shí)現(xiàn)
寫在前面
這篇文章主要讓大家明白
多線程爬蟲，因?yàn)間o語言實(shí)現(xiàn)并發(fā)是很容易的。
這次的服務(wù)端，是我們之前搭建的電子商城平臺，所以我們不擔(dān)心ip被封之類的問題。
而實(shí)際生產(chǎn)環(huán)境中，其實(shí)我們都是用python爬蟲的。python實(shí)現(xiàn)多線程也很簡單。
這次我們可以試試新玩法，試試go語言的并發(fā)爬蟲。
主要是爬取第一頁的商品，爬取十次，比較單線程和多線程的時間。
1. 單線程爬蟲
?定義一個用戶
var Client http.Client
主函數(shù)
func main() {
url := "http://localhost:3000/api/v1/products"
start := time.Now()
for i := 0; i < 10; i++ {
Spider(url, i)
}
elapsed := time.Since(start)
fmt.Printf("Time %s", elapsed)
}
爬取函數(shù)
func Spider(url string, i int) {
reqSpider, err := http.NewRequest("GET", url, nil)
if err != nil {
log.Fatal(err)
}
reqSpider.Header.Set("content-length", "0")
reqSpider.Header.Set("accept", "*/*")
reqSpider.Header.Set("x-requested-with", "XMLHttpRequest")
respSpider, err := Client.Do(reqSpider)
if err != nil {
log.Fatal(err)
}
bodyText, _ := ioutil.ReadAll(respSpider.Body)
var result Result
_ = json.Unmarshal(bodyText, &result)
fmt.Println(i,result.Data)
}
運(yùn)行時間為：651.8207ms
2. 多線程爬蟲
2.1 channel main函數(shù)
我們構(gòu)造一個無緩沖的通道，來阻塞主進(jìn)程，等待子進(jìn)程的執(zhí)行。
func main() {
url := "http://localhost:3000/api/v1/products"
ch := make(chan bool)
start := time.Now()
for i := 0; i < 10; i++ {
go Spider(url, ch, i)
}
for i := 0; i < 10; i++ {
<-ch
}
elapsed := time.Since(start)
fmt.Printf("Time %s", elapsed)
}
最后記得在爬蟲的結(jié)束的時候，把值寫入到通道中，不然會一直阻塞主進(jìn)程
運(yùn)行時間：187.7921ms 比之前快了非常多。
2.2 sync.WaitGroup
定義一個進(jìn)程組并加10個進(jìn)程
var wg sync.WaitGroup wg.Add(10)
開辟十個goruntime
for i := 0; i < 10; i++ {
go func(i int) {
defer wg.Done()
SpiderWaitGroup(url,i)
}(i)
}
阻塞主進(jìn)程
wg.Wait()
結(jié)果：64.5246ms
3. 源碼地址
GitHub地址：https://github.com/CocaineCong/Go-Spider-Demo
NormalStart(url) // 單線程爬蟲 ChannelStart(url) // Channel多線程爬蟲 WaitGroupStart(url) // Wait 多線程爬蟲
其實(shí)多線程的兩種都差不多的，只是有時候會因?yàn)闄C(jī)器的原因而導(dǎo)致一些誤差。
到此這篇關(guān)于Go語言并發(fā)爬蟲的具體實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Go語言并發(fā)爬蟲 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Go語言開發(fā)必知的一個內(nèi)存模型細(xì)節(jié)
這篇文章主要為大家介紹了Go語言開發(fā)必知的一個內(nèi)存模型細(xì)節(jié)詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
詳解Go多協(xié)程并發(fā)環(huán)境下的錯誤處理
這篇文章主要介紹了詳解Go多協(xié)程并發(fā)環(huán)境下的錯誤處理，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
在go語言中，要比較兩個對象是否完全相同，我們可以使用三種方法，這篇文章主要為大家介紹了這三種方法的具體實(shí)現(xiàn)，需要的可以參考一下2023-06-06
Go語言中緩沖bufio的原理解讀與應(yīng)用實(shí)戰(zhàn)
Go語言標(biāo)準(zhǔn)庫中的bufio包提供了帶緩沖的I/O操作,它通過封裝io.Reader和io.Writer接口,減少頻繁的I/O操作,提高讀寫效率,本文就來詳細(xì)的介紹一下,感興趣的可以學(xué)習(xí)2024-10-10
這篇文章主要介紹了go語言實(shí)現(xiàn)接口查詢，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12
本文主要介紹了Golang 并發(fā)的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2025-05-05
這篇文章主要給大家介紹Go中的內(nèi)存逃逸問題，文中通過代碼示例講解的非常詳細(xì)，對我們的學(xué)習(xí)或工作有一定的參考價(jià)值，感興趣的同學(xué)可以跟著小編一起來學(xué)習(xí)2023-06-06
切片是數(shù)組的一個引用，因此切片是引用類型。但自身是結(jié)構(gòu)體，值拷貝傳遞。本文將通過示例帶大家一起探索一下Go語言中切片的奧秘，感興趣的可以了解一下2022-11-11
在接觸Go這么語言，可能你經(jīng)常會聽到這樣一句話，對于字符串不能修改，可能你很納悶，日常開發(fā)中我們對字符串進(jìn)行修改也是很正常的，為什么又說Go中的字符串不能進(jìn)行修改呢，本文就來通過實(shí)際案例給大家演示，為什么Go中的字符串不能進(jìn)行修改2023-07-07
在添加路由處理函數(shù)之后,就可以在路由處理函數(shù)中編寫業(yè)務(wù)處理代碼了,而編寫業(yè)務(wù)代碼第一件事一般就是獲取HTTP請求的參數(shù)吧,Gin框架在net/http包的基礎(chǔ)上封裝了獲取參數(shù)的方式,本文小編給大家介紹了獲取參數(shù)的兩種方式,需要的朋友可以參考下2024-01-01