詳解Go程序添加遠(yuǎn)程調(diào)用tcpdump功能
最近開(kāi)發(fā)的telemetry采集系統(tǒng)上線了。聽(tīng)起來(lái)高大上,簡(jiǎn)單來(lái)說(shuō)就是一個(gè)grpc/udp服務(wù)端,用戶的機(jī)器(路由器、交換機(jī))將它們的各種統(tǒng)計(jì)數(shù)據(jù)上報(bào)采集、整理后交后端的各類AI分析系統(tǒng)分析。目前華為/思科的大部分設(shè)備支持。

上線之后,各類用戶開(kāi)始找來(lái)要求幫忙定位問(wèn)題,一般是上報(bào)的數(shù)據(jù)在后端系統(tǒng)中不存在等等。
在一通抓包分析后,百分之99都是用戶自己的問(wèn)題。但頻繁的抓包定位問(wèn)題,嚴(yán)重的壓縮了我摸魚(yú)的時(shí)間。而且,這套系統(tǒng)采用多實(shí)例方式部署在騰X云多個(gè)容器中,一個(gè)個(gè)的登錄抓包,真的很煩。
這讓我萌生了一個(gè)需求:
- 主動(dòng)給采集器下發(fā)抓包任務(wù)。
- 將抓包的信息返回。
- 將抓包的文件暫存,以備進(jìn)一步定位問(wèn)題。
方法1
使用fabric等ssh運(yùn)維工具,編寫腳本自動(dòng)化登錄機(jī)器后執(zhí)行tcpdump,然后進(jìn)一步處理。
很可惜的是,并沒(méi)有容器母機(jī)ssh的權(quán)限。只能通過(guò)一個(gè)web命令行觀察容器。這條路玩不轉(zhuǎn)。
方法2
- 在采集器中添加一個(gè)接口,用以下發(fā)tcpdump命令
- 采集器執(zhí)行tcpdump命令,并獲取返回的信息(比如captured xxx pacs),保存相關(guān)文件。
- 將獲取的抓包信息以某種方式反發(fā)給命令下發(fā)人。
使用tcpdump定時(shí)抓取并保存信息
首先需要解決tcpdump定時(shí)的問(wèn)題,以免tcpdump無(wú)限期的執(zhí)行抓包,經(jīng)過(guò)一通谷歌,命令如下:
timeout 30 tcpdump -i eth0 host 9.123.123.111 and port 6651 -w /tmp/log.cap
timeout 30 指抓取30秒,超時(shí)后tcpdump會(huì)直接退出
-i 指定抓取的端口
host xxx 源IP
port xxx 源端口
編寫tcpdump函數(shù)
下面到了我最喜歡的寫代碼階段,為了簡(jiǎn)單,直接使用os/exec庫(kù)。不要笑,很多大廠的很多系統(tǒng)其實(shí)都是包命令行工具,解決問(wèn)題最重要。
// TcpDump 執(zhí)行tcpdump命令,并返回抓到的包數(shù)
func TcpDump(sudo bool, timeout int, eth string, host string, port int) (caps int, err error) {
portStr := ""
if port != 0 {
portStr = fmt.Sprintf("and port %v", port)
}
tcpdumpCmd := fmt.Sprintf("timeout %v tcpdump -i %v host %v %v -w /tmp/log.cap",
timeout, eth, host, portStr)
if sudo {
tcpdumpCmd = "sudo " + tcpdumpCmd
}
logrus.Infof("call %v", tcpdumpCmd)
cmd := exec.Command("sh", "-c", tcpdumpCmd)
var outb, errb bytes.Buffer
cmd.Stderr = &errb
err = cmd.Run()
if err != nil {
if !errors.Is(err, &exec.ExitError{}) {
logrus.Infof("out:%s ; %s", outb.Bytes(), errb.Bytes())
return getPacs(errb.String()), nil
}
return
}
return 0,fmt.Errorf("unknown error")
}
func getPacs(input string) int {
end := strings.Index(input, "packets captured")
pos := end
for {
pos -= 1
if pos <= 0 {
return 0
}
if input[pos] == '\n' {
break
}
}
// logrus.Infof("captured:%s", input[pos+1:end-1])
v, err := strconv.Atoi(input[pos+1 : end-1])
if err != nil {
return 0
}
return v
}這里要注意幾點(diǎn):
執(zhí)行cmd := exec.Command("sh", "-c", tcpdumpCmd)后,tcpdump的返回信息類似:
listening on eth1, link-type EN10MB (Ethernet), capture size 65535 bytes\n56 packets captured\n56 packets received by filter\n0 packets dropped by kernel\n
是在stderr中的。而不是stdout。
getPacs函數(shù)簡(jiǎn)單的從xx packets received中提取出了抓包數(shù)。但是如果是中文的服務(wù)器系統(tǒng)(不會(huì)吧,不會(huì)吧),就不太好使了。
編寫api
現(xiàn)在函數(shù)已經(jīng)有了,只要再寫一個(gè)http api,就能很方便的把它暴露出去。
import "github.com/gogf/gf/v2/encoding/gjson"
// ErrJson,寫入一個(gè)error json,形如:
//{
// "err": code,
// "err_msg": msg
//}
func ErrJson(w http.ResponseWriter, errCode int, errStr string) error {
w.Header().Set("Content-Type", "application/json")
js := make(map[string]interface{})
js["err"] = errCode
js["err_msg"] = errStr
jsBts, _ := json.Marshal(js)
_, err := w.Write(jsBts)
return err
}
/* TcpDumpHandler
req:{
"sudo": true,
"eth": "eth0",
"host": "10.99.17.135",
"port": 0
}
rsp:{
"err": 0,
"caps": 14
}
*/
func TcpDumpHandler(w http.ResponseWriter, r *http.Request) {
r.ParseForm()
ret, err := ioutil.ReadAll(r.Body)
if err != nil {
ErrJson(w, 1, "數(shù)據(jù)錯(cuò)誤")
return
}
js := gjson.New(ret)
sudo := js.Get("sudo").Bool()
eth := js.Get("eth").String()
if eth == "" {
ErrJson(w, 1, "數(shù)據(jù)錯(cuò)誤, eth不存在")
return
}
host := js.Get("host").String()
if host == "" {
ErrJson(w, 1, "數(shù)據(jù)錯(cuò)誤, host不存在")
return
}
port := js.Get("port").Int()
timeout := js.Get("timeout").Int()
if timeout == 0 {
ErrJson(w, 1, "數(shù)據(jù)錯(cuò)誤, timeout為0或不存在")
return
}
go func() {
chatKey := config.GlobalConfigObj.Global.ChatKey
botKey := config.GlobalConfigObj.Global.BotKey
// 這里直接利用了公司的一個(gè)消息系統(tǒng),如果貴公司沒(méi)有這樣的系統(tǒng),就變通一下
msgSender := msg.NewNiuBiMsg(chatKey, botKey)
caps, err := TcpDump(sudo, timeout, eth, host, port)
if err != nil {
return
}
if caps > 0 {
// 這里直接利用了公司的一個(gè)消息系統(tǒng),向企業(yè)IM發(fā)一條消息
msgSender.Send(fmt.Sprintf("tcpdump agent_ip:%v host:%v eth:%v port:%v, captured:%v",
config.GlobalLocalConfig.LocalIP, host, eth, port, caps))
bts, err := ioutil.ReadFile("/tmp/log.cap")
if err != nil {
return
}
b64Caps := base64.StdEncoding.EncodeToString(bts)
// 把抓包的文件通過(guò)這個(gè)消息系統(tǒng)也發(fā)到企業(yè)IM中
msgSender.File(fmt.Sprintf("pacs_%v.cap", config.GlobalLocalConfig.LocalIP), b64Caps)
}
}()
}然后起一個(gè)http svr
func runHttp() {
mux := http.NewServeMux()
server :=
http.Server{
Addr: fmt.Sprintf(":%d", 3527),
Handler: mux,
ReadTimeout: 3 * time.Second,
WriteTimeout: 5 * time.Second,
}
// 開(kāi)始添加路由
mux.HandleFunc("/tcpdump", tcpdumpsvc.TcpDumpHandler)
logrus.Infof("run http:%v", 3527)
logrus.Info(server.ListenAndServe())
}到這一步,這個(gè)系統(tǒng)就基本完成了。使用這個(gè)命令就能調(diào)用接口。
curl --header "Content-Type: application/json" --request GET --data '{"sudo":false,"eth":"eth0","host":"100.xxx.xxx.10","port":0,"timeout":5}' http://0.0.0.0:3527/tcpdump這個(gè)系統(tǒng)有幾個(gè)硬傷。
- 依賴了公司的消息系統(tǒng)完成抓包數(shù)據(jù)回發(fā)的功能。假如各位大佬的公司沒(méi)有這樣的系統(tǒng)
msgSender.Send,可行的方法有: - scp到一個(gè)特定的文件夾。
- 使用電子郵件。
- 和領(lǐng)導(dǎo)申請(qǐng)自己開(kāi)發(fā)一套,你看,需求就來(lái)了。
- tcpdump可能會(huì)生成極大的抓包文件,此時(shí)使用
bts, err := ioutil.ReadFile("/tmp/log.cap"),可能會(huì)直接讓系統(tǒng)OOM。所以設(shè)置timeout和抓包的大?。ū热缭趖cpdump命令中使用-c)是很重要的。換句話說(shuō),這個(gè)api不是公有的,別讓不了解的人去調(diào)用。
不過(guò)這都是小問(wèn)題?,F(xiàn)在用戶找上門來(lái),我只需要啟動(dòng)腳本,從服務(wù)發(fā)現(xiàn)api拉到所有的實(shí)例IP,然后依次調(diào)用tcpdump api,等待IM的反饋即可。又能快樂(lè)的摸魚(yú)啦。
到此這篇關(guān)于go程序添加遠(yuǎn)程調(diào)用tcpdump功能的文章就介紹到這了,更多相關(guān)go遠(yuǎn)程調(diào)用tcpdump內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
golang中兩個(gè)協(xié)程交替打印數(shù)字和字母的實(shí)現(xiàn)
這篇文章給大家介紹了golang中兩個(gè)協(xié)程交替打印數(shù)字和字母的實(shí)現(xiàn),文中通過(guò)代碼示例講解的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-01-01
使用Go語(yǔ)言實(shí)現(xiàn)LRU緩存的代碼詳解
在日常開(kāi)發(fā)中,緩存是提高系統(tǒng)性能的重要手段,LRU緩存是一種基于“最近最少使用”策略的緩存系統(tǒng),其目的是在空間受限的情況下保留最新、最常用的數(shù)據(jù),本文將詳細(xì)講解如何使用?Go?語(yǔ)言實(shí)現(xiàn)一個(gè)?LRU?緩存,需要的朋友可以參考下2024-11-11
Go語(yǔ)言基于Goroutine的超時(shí)控制方案設(shè)計(jì)與實(shí)踐
Go語(yǔ)言因其并發(fā)特性而備受青睞,尤其是goroutine和channel的組合,像一對(duì)默契的搭檔,為開(kāi)發(fā)者提供了輕量、高效的并發(fā)工具,下面我們來(lái)看看基于goroutine的超時(shí)控制方案吧2025-05-05

