使用Go HTTP客戶端打造高性能服務

更新時間：2021年12月09日 10:18:48 作者：kuteng

大多數(shù)語言都有提供各自的 HTTP 客戶端，本文將動手實踐如何使用Go語言發(fā)起HTTP請求，并討論其中有可能遇到的問題。具有一定的參考價值，感興趣的可以了解一下

問題一：默認的 HTTP Client

默認情況下，net/http 包自帶的 HTTP 客戶端不帶超時時間。如果你使用的是默認的客戶端 http.DefaultClient()，這個是不帶超時時間的。

假如你請求外部的 API 掛了，發(fā)出的請求沒響應導致連接一直出于打開狀態(tài)。隨著請求數(shù)越來越多，連接數(shù)隨之增加，導致耗盡服務器的資源，最后服務器隨之崩潰。

解決辦法：不要使用默認的 HTTP 客戶端，根據實際情況設置超時時間。

var httpClient = &http.Client{
  Timeout: time.Second * 10,
}

對于 API 接口，超時時間建議不需要超過 10s，如果請求在 10s 內沒有返回，則請求會取消并報錯：request canceled (Client.Timeout exceeded …) 。

問題二：默認的 Http Transport

默認情況下，HTTP 客戶端會維護一個連接池。當請求完成之后，連接會保持打開狀態(tài)直到空閑時間超時（默認是 90s）自動斷開。如果有請求過來，會優(yōu)先使用已打開的連接而不是創(chuàng)建新的連接，請求完成之后，連接會返還到連接池中。

使用連接池將使用最少的服務器資源處理更多的 API 請求。

如果沒有自定義 HTTP 客戶端的 transport，將會使用默認配置。

HTTP Transport 的默認配置如下：

var DefaultTransport RoundTripper = &Transport{
    ...
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    ...
}

 
const DefaultMaxIdleConnsPerHost = 2

MaxIdleConns 表示連接池大小，是可以打開的最大連接數(shù)，默認值是 100。

參數(shù) DefaultMaxIdleConnsPerHost 的默認值是 2，表示每個主機（host）的打開連接數(shù)。這意味著，連接池中 100 個連接只有兩個連接分配給該主機。

隨著請求增多，但是只有兩個請求被處理，其他請求只能被迫等待并進入 TIME_WAIT 狀態(tài)。請求增多，進入 TIME_WAIT 狀態(tài)的連接數(shù)增多，消耗越來越多的服務器資源，當達到服務器瓶頸時，服務器將會崩潰。

解決辦法：提高 MaxIdleConnsPerHost 數(shù)值，不要使用默認的 Transport。

t := http.DefaultTransport.(*http.Transport).Clone()
t.MaxIdleConns = 100
t.MaxConnsPerHost = 100
t.MaxIdleConnsPerHost = 100

httpClient = &http.Client{
  Timeout:   10 * time.Second,
  Transport: t,
}

通過增加每個主機的連接數(shù)和空閑連接數(shù)，就有助于提高性能并以最少的服務器資源處理更多請求。

可以根據服務器資源和實際需求適當增加連接池大小和每個主機的連接數(shù)。