快捷導(dǎo)航

Go語言實現(xiàn)ssh&scp的方法詳解

更新時間：2022年10月09日 14:44:06 作者：漫漫Coding路

這篇文章主要為大家詳細介紹了如何利用Go語言實現(xiàn)ssh&scp，文中的示例代碼講解詳細，具有一定的參考價值，感興趣的小伙伴可以了解一下

前言

最近遇到一個臨時需求，需要將客戶環(huán)境中一個服務(wù)每天的日志進行一系列復(fù)雜處理，并生成數(shù)據(jù)報表。由于數(shù)據(jù)處理邏輯復(fù)雜，且需要存入數(shù)據(jù)庫，在客戶環(huán)境使用 shell 腳本無法處理，因此就需要將日志先拷貝到本地，再進行處理；同時為了避免每天人工拷貝日志，需要實現(xiàn)自動化，整條鏈路自動執(zhí)行，無需人工干預(yù)。平時使用 Go 語言較多，由此就引出了 Go 語言 ssh 連接遠程客戶服務(wù)器，并利用 scp 將數(shù)據(jù)拷貝下來的一系列操作。

說明：本文中的示例，均是基于Go1.17 64位機器

連接遠程服務(wù)器并執(zhí)行命令（ssh）

如下給出了使用 用戶名+密碼 的方式連接遠程服務(wù)器并執(zhí)行了 /usr/bin/whoami 命令的示例，步驟如下：

生成 ClientConfig：想要連接遠程服務(wù)器，必須要至少指定一種實現(xiàn)了 Auth 的 AuthMethod，我們這里使用密碼的方式；同時需要提供一種用于安全校驗遠程服務(wù)端key的方法 HostKeyCallback，我們這里使用的是不校驗的方式 ssh.InsecureIgnoreHostKey()，生產(chǎn)情況下建議使用 ssh.FixedHostKey(key PublicKey)；
調(diào)用 Dial ：Dial 方法與遠程服務(wù)器建立連接，并返回一個 client ；
NewSession：NewSession方法開啟一個會話，在一個會話內(nèi)可以通過 Run 方法執(zhí)行一個命令。

import?(
?"bytes"
?"fmt"
?"log"
??
??"golang.org/x/crypto/ssh"
)

func?main()?{

?var?(
??username?=?"your?username"
??password?=?"your?password"
??addr?????=?"ip:22"
?)
?
?config?:=?&ssh.ClientConfig{
??User:?username,
??Auth:?[]ssh.AuthMethod{
???ssh.Password(password),
??},
??HostKeyCallback:?ssh.InsecureIgnoreHostKey(),
?}
?client,?err?:=?ssh.Dial("tcp",?addr,?config)
?if?err?!=?nil?{
??log.Fatal("Failed?to?dial:?",?err)
?}
?defer?client.Close()

?//?開啟一個session，用于執(zhí)行一個命令
?session,?err?:=?client.NewSession()
?if?err?!=?nil?{
??log.Fatal("Failed?to?create?session:?",?err)
?}
?defer?session.Close()

?//?執(zhí)行命令，并將執(zhí)行的結(jié)果寫到?b?中
?var?b?bytes.Buffer
?session.Stdout?=?&b
??
??//?也可以使用?session.CombinedOutput()?整合輸出
?if?err?:=?session.Run("/usr/bin/whoami");?err?!=?nil?{
??log.Fatal("Failed?to?run:?"?+?err.Error())
?}
?fmt.Println(b.String())??//?root
}

上面的例子，我們在 Run 方法里面?zhèn)魅肓艘粋€命令，然后遠程服務(wù)器會將執(zhí)行結(jié)果返回給我們，如果是復(fù)雜操作，通過傳入命令的方式就比較麻煩。比如上面提到的需求，需要我從 k8s 容器中拷貝出服務(wù)每天的日志，拆解后的步驟為：獲取服務(wù)的多個 k8s pod 名稱，根據(jù)當前日期，從多個容器中分別拷貝日志文件，然后整合成一個日志文件。針對復(fù)雜操作，我們可以在遠程服務(wù)器編寫一個腳本，然后 Run 方法中傳入執(zhí)行腳本的命令。

簡單舉個示例，我們在遠程服務(wù)器編寫了一個腳本 test.sh，放在了 /opt 目錄下，腳本內(nèi)容與調(diào)用方式分別如下：

#?腳本文件
#!/bin/bash
today=$(date?+"%Y-%m-%d")
#?將數(shù)據(jù)寫入文件
$(df?-h?>?$today.log)

package?main

import?(
?"fmt"
?"log"
??
??"golang.org/x/crypto/ssh"
)

func?main()?{

?var?(
??username?=?"your?username"
??password?=?"your?password"
??addr?????=?"ip:22"
?)

?config?:=?&ssh.ClientConfig{
??User:?username,
??Auth:?[]ssh.AuthMethod{
???ssh.Password(password),
??},
??HostKeyCallback:?ssh.InsecureIgnoreHostKey(),
?}
?client,?err?:=?ssh.Dial("tcp",?addr,?config)
?if?err?!=?nil?{
??log.Fatal("Failed?to?dial:?",?err)
?}
?defer?client.Close()


?session,?err?:=?client.NewSession()
?if?err?!=?nil?{
??log.Fatal("Failed?to?create?session:?",?err)
?}
?defer?session.Close()

??//?調(diào)用遠程服務(wù)器腳本腳本
?res,?err?:=?session.CombinedOutput("sh?/opt/test.sh")
?if?err?!=?nil?{
??log.Fatal("Failed?to?run:?"?+?err.Error())
?}
?fmt.Println(string(res))
??
??/*
??Filesystem??????Size??Used?Avail?Use%?Mounted?on
??devtmpfs????????909M?????0??909M???0%?/dev
??tmpfs???????????919M???24K??919M???1%?/dev/shm
??tmpfs???????????919M??540K??919M???1%?/run
??tmpfs???????????919M?????0??919M???0%?/sys/fs/cgroup
??/dev/vda1????????50G??6.9G???40G??15%?/
??tmpfs???????????184M?????0??184M???0%?/run/user/0
??*/
}

拷貝遠程服務(wù)器文件到本地（scp）

拷貝文件步驟比較簡單：

建立 ssh client
基于 ssh client 創(chuàng)建 sftp client
打開遠程服務(wù)器文件并拷貝到本地

package?main

import?(
?"io"
?"log"
?"os"
?"time"
??
??"github.com/pkg/sftp"
?"golang.org/x/crypto/ssh"
)

func?main()?{

?var?(
??username?=?"your?username"
??password?=?"your?password"
??addr?????=?"ip:22"
?)

?//?1.?建立?ssh?client
?config?:=?&ssh.ClientConfig{
??User:?username,
??Auth:?[]ssh.AuthMethod{
???ssh.Password(password),
??},
??HostKeyCallback:?ssh.InsecureIgnoreHostKey(),
?}
?client,?err?:=?ssh.Dial("tcp",?addr,?config)
?if?err?!=?nil?{
??log.Fatal("Failed?to?dial:?",?err)
?}
?defer?client.Close()

?//?2.?基于ssh?client,?創(chuàng)建?sftp?客戶端
?sftpClient,?err?:=?sftp.NewClient(client)
?if?err?!=?nil?{
??log.Fatal("Failed?to?init?sftp?client:?",?err)
?}
?defer?sftpClient.Close()

?//?3.?打開遠程服務(wù)器文件
?filename?:=?time.Now().Format("2006-01-02")?+?".log"
?source,?err?:=?sftpClient.Open("/opt/"?+?filename)
?if?err?!=?nil?{
??log.Fatal("Failed?to?open?remote?file:?",?err)
?}
?defer?source.Close()

?//?4.?創(chuàng)建本地文件
?target,?err?:=?os.OpenFile(filename,?os.O_RDWR|os.O_CREATE|os.O_TRUNC,?0644)
?if?err?!=?nil?{
??log.Fatal("Failed?to?open?local?file:?",?err)
?}
?defer?target.Close()

?//?5.?數(shù)據(jù)復(fù)制
?n,?err?:=?io.Copy(target,?source)
?if?err?!=?nil?{
??log.Fatal("Failed?to?copy?file:?",?err)
?}
?log.Println("Succeed?to?copy?file:?",?n)

}

在 sftp client 中，還有許多方法，例如 Walk、ReadDir、Stat、Mkdir等，針對文件也有 Read、Write、WriteTo、ReadFrom等方法，像操作本地文件系統(tǒng)一樣，非常便利。

簡單封裝下

package?main

import?(
?"fmt"
?"io"
?"log"
?"os"
?"time"

?"github.com/pkg/sftp"
?"golang.org/x/crypto/ssh"
)

type?Cli?struct?{
?user???string
?pwd????string
?addr???string
?client?*ssh.Client
}


func?NewCli(user,?pwd,?addr?string)?Cli?{
?return?Cli{
??user:?user,
??pwd:??pwd,
??addr:?addr,
?}
}

//?Connect?連接遠程服務(wù)器
func?(c?*Cli)?Connect()?error?{
?config?:=?&ssh.ClientConfig{
??User:?c.user,
??Auth:?[]ssh.AuthMethod{
???ssh.Password(c.pwd),
??},
??HostKeyCallback:?ssh.InsecureIgnoreHostKey(),
?}
?client,?err?:=?ssh.Dial("tcp",?c.addr,?config)
?if?nil?!=?err?{
??return?fmt.Errorf("connect?server?error:?%w",?err)
?}
?c.client?=?client
?return?nil
}

//?Run?運行命令
func?(c?Cli)?Run(shell?string)?(string,?error)?{
?if?c.client?==?nil?{
??if?err?:=?c.Connect();?err?!=?nil?{
???return?"",?err
??}
?}

?session,?err?:=?c.client.NewSession()
?if?err?!=?nil?{
??return?"",?fmt.Errorf("create?new?session?error:?%w",?err)
?}
?defer?session.Close()

?buf,?err?:=?session.CombinedOutput(shell)
?return?string(buf),?err
}

//?Scp?復(fù)制文件
func?(c?Cli)?Scp(srcFileName,?targetFileName?string)?(int64,?error)?{
?if?c.client?==?nil?{
??if?err?:=?c.Connect();?err?!=?nil?{
???return?0,?err
??}
?}

?sftpClient,?err?:=?sftp.NewClient(c.client)
?if?err?!=?nil?{
??return?0,?fmt.Errorf("new?sftp?client?error:?%w",?err)
?}
?defer?sftpClient.Close()

?source,?err?:=?sftpClient.Open(srcFileName)
?if?err?!=?nil?{
??return?0,?fmt.Errorf("sftp?client?open?file?error:?%w",?err)
?}
?defer?source.Close()

?target,?err?:=?os.OpenFile(targetFileName,?os.O_RDWR|os.O_CREATE|os.O_TRUNC,?0644)
?if?err?!=?nil?{
??return?0,?fmt.Errorf("open?local?file?error:?%w",?err)
?}
?defer?target.Close()

?n,?err?:=?io.Copy(target,?source)
?if?err?!=?nil?{
??return?0,?fmt.Errorf("copy?file?error:?%w",?err)
?}
?return?n,?nil
}


//?調(diào)用測試
func?main()?{
?var?(
??username?=?"your?username"
??password?=?"your?password"
??addr?????=?"ip:22"
?)

?//?初始化
?client?:=?NewCli(username,?password,?addr)

?//?ssh?并運行腳本
?_,?err?:=?client.Run("sh?/opt/test.sh")
?if?err?!=?nil?{
??log.Printf("failed?to?run?shell,err=[%v]\n",?err)
??return
?}

?//?scp?文件到本地
?filename?:=?time.Now().Format("2006-01-02")?+?".log"
?n,?err?:=?client.Scp("/opt/"+filename,?filename)
?if?err?!=?nil?{
??log.Printf("failed?to?scp?file,err=[%v]\n",?err)
??return
?}
?log.Printf("Succeed?to?scp?file,?size=[%d]\n",?n)

?//?處理文件并刪除本地文件......
}

通過上面的一系列操作，就可以實現(xiàn)了我的需求：

1.編寫程序：