Go來合并兩個(gè)csv的實(shí)現(xiàn)示例
背景
通常我們處理文件都是用python+pandas，確實(shí)很香。但是今天突然有人找我用go寫一個(gè)合并兩個(gè)csv文件的，需要將兩個(gè)csv按id進(jìn)行合并，大致如下圖
思路很簡(jiǎn)單，先讀入兩個(gè)csv文件，然后遍歷比較id，如果相同就把另一個(gè)文件的內(nèi)容加到第一個(gè)中。然后創(chuàng)建merge.csv，將上一步得到的數(shù)據(jù)寫入csv即可。
代碼部分
package main
import (
"encoding/csv"
"log"
"os"
"fmt"
)
func join(fileName1 string, fileName2 string) (row [][]string) {
fs1, _ := os.Open(fileName1)
r1 := csv.NewReader(fs1)
content1, err := r1.ReadAll()
if err != nil {
log.Fatalf("can not readall, err is %+v", err)
}
fs2, _ := os.Open(fileName2)
r2 := csv.NewReader(fs2)
content2, err := r2.ReadAll()
if err != nil {
log.Fatalf("can not readall, err is %+v", err)
}
row = make([][]string, len(content1[1:]))
for i, row1 := range content1[1:] {
for _, row2 := range content2[1:] {
if row1[0] == row2[0] {
row[i] = append(row[i], row1[0], row1[1], row1[2], row2[1], row2[2])
}
}
}
return
}
func edit(filename string, row [][]string) {
f, err := os.Create(filename)
if err != nil {
panic(err)
}
defer f.Close()
//防止亂碼
f.WriteString("\xEF\xBB\xBF")
w := csv.NewWriter(f)
w.Write([]string{"ID", "name", "gender", "course", "score"})
w.WriteAll(row)
w.Flush()
}
func main() {
row := join("1.csv", "2.csv")
fmt.Println(row)
edit("join.csv", row)
fmt.Println("合并已完成！")
}
優(yōu)化
對(duì)于小數(shù)據(jù)量這樣是沒有問題，但是一旦數(shù)據(jù)量增大，不僅讀取的內(nèi)存占用增加，而且遍歷比較會(huì)很消耗時(shí)間。所以優(yōu)化的話我們可以以行讀取，并且想辦法使用go的goroutine來增加速度。唉，太久沒怎么寫go了，一開始切片都有點(diǎn)忘了。
到此這篇關(guān)于Go來合并兩個(gè)csv的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)Go合并csv內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了go特性之?dāng)?shù)組與切片的問題,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
中介者是一種行為設(shè)計(jì)模式，讓程序組件通過特殊的中介者對(duì)象進(jìn)行間接溝通，達(dá)到減少組件之間依賴關(guān)系的目的，因此本文就給大家詳細(xì)介紹一下Go中介者模式,需要的朋友可以參考下2023-06-06
Go設(shè)置http請(qǐng)求超時(shí)的方法實(shí)現(xiàn)
這篇文章主要介紹了Go設(shè)置http請(qǐng)求超時(shí)的方法實(shí)現(xiàn),最近接手了一個(gè)老項(xiàng)目進(jìn)行維護(hù),發(fā)現(xiàn)其中有個(gè)關(guān)于 http 請(qǐng)求的方法設(shè)置的 timeout 沒有生效,很奇怪,一開始查看代碼并沒有發(fā)現(xiàn)什么可疑點(diǎn),后查看了源碼,打斷點(diǎn)調(diào)試才發(fā)現(xiàn)問題所在,這里簡(jiǎn)單記錄復(fù)盤一下2024-08-08
這篇文章主要為大家詳細(xì)介紹了Vue3如何利用golang實(shí)現(xiàn)給圖片加水印,文中的示例代碼講解詳細(xì),具有一定的借鑒價(jià)值,需要的可以參考一下2023-12-12
Go實(shí)現(xiàn)字符串與數(shù)字的高效轉(zhuǎn)換
在軟件開發(fā)的世界里,數(shù)據(jù)類型轉(zhuǎn)換是一項(xiàng)基礎(chǔ)而重要的技能,尤其在Go語(yǔ)言這樣類型嚴(yán)格的語(yǔ)言中,正確高效地進(jìn)行類型轉(zhuǎn)換對(duì)于性能優(yōu)化和代碼質(zhì)量至關(guān)重要,本文給大家介紹了Go實(shí)現(xiàn)字符串與數(shù)字的高效轉(zhuǎn)換,需要的朋友可以參考下2024-02-02
golang實(shí)現(xiàn)unicode轉(zhuǎn)換為字符串string的方法
這篇文章主要介紹了golang實(shí)現(xiàn)unicode轉(zhuǎn)換為字符串string的方法,實(shí)例分析了Go語(yǔ)言編碼轉(zhuǎn)換的相關(guān)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2016-07-07
一文帶你搞懂Golang依賴注入的設(shè)計(jì)與實(shí)現(xiàn)
在現(xiàn)代的 web 框架里面，基本都有實(shí)現(xiàn)了依賴注入的功能，可以讓我們很方便地對(duì)應(yīng)用的依賴進(jìn)行管理。今天我們來看看 go 里面實(shí)現(xiàn)依賴注入的一種方式，感興趣的可以了解一下2023-01-01
Golang中結(jié)構(gòu)體映射mapstructure庫(kù)深入詳解
mapstructure用于將通用的map[string]interface{}解碼到對(duì)應(yīng)的 Go 結(jié)構(gòu)體中，或者執(zhí)行相反的操作。很多時(shí)候，解析來自多種源頭的數(shù)據(jù)流時(shí)，我們一般事先并不知道他們對(duì)應(yīng)的具體類型。只有讀取到一些字段之后才能做出判斷2023-01-01
這篇文章主要為大家介紹了go語(yǔ)言更高精度的Sleep實(shí)例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-12-12
Go實(shí)現(xiàn)map并發(fā)安全的3種方式總結(jié)
Go的原生map不是并發(fā)安全的,在多協(xié)程讀寫同一個(gè)map的時(shí)候,安全性無(wú)法得到保障,這篇文章主要給大家總結(jié)介紹了關(guān)于Go實(shí)現(xiàn)map并發(fā)安全的3種方式,需要的朋友可以參考下2023-10-10