快捷導(dǎo)航

Go語言通過http抓取網(wǎng)頁的方法

更新時(shí)間：2015年03月03日 11:33:55 作者：liuli

這篇文章主要介紹了Go語言通過http抓取網(wǎng)頁的方法,實(shí)例分析了Go語言通過http操作頁面的技巧,需要的朋友可以參考下

本文實(shí)例講述了Go語言通過http抓取網(wǎng)頁的方法。分享給大家供大家參考。具體實(shí)現(xiàn)方法如下：

package main

import (

 "fmt"

 "log"

 "net/http"

 "net/url"

 "io/ioutil"

)

//指定代理ip

func getTransportFieldURL(proxy_addr *string) (transport *http.Transport) {

 url_i := url.URL{}

 url_proxy, _ := url_i.Parse(*proxy_addr)

 transport = &http.Transport{Proxy : http.ProxyURL(url_proxy)}

 return

}

//從環(huán)境變量$http_proxy或$HTTP_PROXY中獲取HTTP代理地址

func getTransportFromEnvironment() (transport *http.Transport) {

 transport = &http.Transport{Proxy : http.ProxyFromEnvironment}

 return

}

func fetch(url , proxy_addr *string) (html string) {

 transport := getTransportFieldURL(proxy_addr)

 client := &http.Client{Transport : transport}

 req, err := http.NewRequest("GET", *url, nil)

 if err != nil {

  log.Fatal(err.Error())

 }

 resp, err := client.Do(req)

 if err != nil {

  log.Fatal(err.Error())

 } 

 if resp.StatusCode == 200 {

  robots, err := ioutil.ReadAll(resp.Body);

  resp.Body.Close()

  if err != nil {

   log.Fatal(err.Error())

  }

  html = string(robots);

 } else {

  html = ""

 }

 return

}

func main() {

 proxy_addr := "http://183.221.250.137:80/"

 url := "http://www.baidu.com/s?wd=ip"

 html := fetch(&url, &proxy_addr)

 fmt.Println(html)

}

希望本文所述對(duì)大家的Go語言程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

Goland項(xiàng)目使用gomod配置的詳細(xì)步驟
Goland是一個(gè)用于Go語言開發(fā)的IDE,Goland的項(xiàng)目結(jié)構(gòu)與Go語言的項(xiàng)目結(jié)構(gòu)相似,下面這篇文章主要給大家介紹了關(guān)于Goland項(xiàng)目使用gomod配置的詳細(xì)步驟,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下
2023-04-04
Go語言基礎(chǔ)學(xué)習(xí)之?dāng)?shù)組的使用詳解
數(shù)組相必大家都很熟悉，各大語言也都有數(shù)組的身影。Go 語言也提供了數(shù)組類型的數(shù)據(jù)結(jié)構(gòu)。本文就來通過一些簡單的示例帶大家了解一下Go語言中數(shù)組的使用，希望對(duì)大家有所幫助
2022-12-12
深入理解Go 的變量和常量:零值機(jī)制、類型推導(dǎo)與枚舉
本文詳細(xì)介紹了Go語言中變量和常量的核心機(jī)制,包括零值、類型推導(dǎo)和iota枚舉,強(qiáng)調(diào)了Go在簡潔與安全之間的平衡,并通過實(shí)例展示了如何高效使用這些特性,本文將從原理+實(shí)戰(zhàn)角度,帶你深入理解這些核心機(jī)制,感興趣的朋友一起看看吧
2026-04-04
基于Go語言搭建靜態(tài)文件服務(wù)器的詳細(xì)教程
Go 是一個(gè)開源的編程語言,它能讓構(gòu)造簡單、可靠且高效的軟件變得容易,本文給大家介紹了基于Go語言搭建靜態(tài)文件服務(wù)器的詳細(xì)教程,文中通過圖文和代碼講解的非常詳細(xì),需要的朋友可以參考下
2024-10-10
淺析Golang中變量與常量的聲明與使用
變量、常量的聲明與使用是掌握一門編程語言的基礎(chǔ)，這篇文章主要為大家詳細(xì)介紹了Golang中變量與常量的聲明與使用，需要的可以參考一下
2023-04-04
詳解使用Go添加Nginx代理的方法示例
這篇文章主要介紹了詳解使用Go添加Nginx代理的方法示例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-11-11
go處理線程之間的交互示例代碼
Go語言以goroutine為核心實(shí)現(xiàn)并發(fā)編程,其中線程間交互主要通過Channels、WaitGroup、Mutex和Select實(shí)現(xiàn),Channels提供goroutine間的數(shù)據(jù)傳遞,本文給大家介紹go處理線程之間的交互示例代碼,感興趣的朋友一起看看吧
2024-10-10
Golang并發(fā)編程之Channel詳解
傳統(tǒng)的并發(fā)編程模型是基于線程和共享內(nèi)存的同步訪問控制的，共享數(shù)據(jù)受鎖的保護(hù)，使用線程安全的數(shù)據(jù)結(jié)構(gòu)會(huì)使得這更加容易。本文將詳細(xì)介紹Golang并發(fā)編程中的Channel，,需要的朋友可以參考下
2023-05-05
Go到底能不能實(shí)現(xiàn)安全的雙檢鎖(推薦)
這篇文章主要介紹了Go到底能不能實(shí)現(xiàn)安全的雙檢鎖,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-05-05
golang中cache組件的使用及groupcache源碼解析
本篇主要解析groupcache源碼中的關(guān)鍵部分， lru的定義以及如何做到同一個(gè)key只加載一次。緩存填充以及加載抑制的實(shí)現(xiàn)方法，本文重點(diǎn)給大家介紹golang中cache組件的使用及groupcache源碼解析，感興趣的朋友一起看看吧
2021-06-06