利用SQL腳本導(dǎo)入數(shù)據(jù)到不同數(shù)據(jù)庫避免重復(fù)的3種方法
前言
相信大家都有所體會(huì),無論何種語言,一旦看見代碼中有重復(fù)性的代碼則想到封裝來復(fù)用,在SQL同樣如此,若我們沒有界面來維護(hù)而且需要經(jīng)常進(jìn)行的操作,我們會(huì)寫腳本避免下次又得重新寫一遍,但是這其中就涉及到一個(gè)問題,這個(gè)問題我開始也沒太在意,直到某時(shí)某刻,老大看到我寫的腳本后笑著問了一句,你的腳本可否重復(fù)執(zhí)行,我懵逼了,很顯然不能,如果不能避免這種情況發(fā)生,比如進(jìn)行插入操作,當(dāng)下次其他同事來執(zhí)行其腳本時(shí)可能會(huì)插入重復(fù)數(shù)據(jù),如果是在線上那就傻逼了,所以老大又給我上了一課,從此之后每次寫腳本都加邏輯判斷,是的,也就是可重復(fù)執(zhí)行。
接下來講講最近項(xiàng)目中遇到的場景。
話題引入
在國民成年人體質(zhì)測試中需要計(jì)算成年年紀(jì)且體側(cè)年齡為20-59歲,若當(dāng)前日期未超過成年人出生日期則歲數(shù)減一,否則不減,例如一個(gè)成年人出生日期為1991-11-01,此時(shí)該成年人的體側(cè)年齡為25歲,若為1991-10-01則體側(cè)年齡為26歲,此為第一步。第二步則是分組,每個(gè)年齡階段的人測試的項(xiàng)目不一樣,即需要根據(jù)年齡進(jìn)行分組,在體側(cè)文檔中分為3組,一組為男性20-39歲,一組為女性20-39,最后一組不分男女為40-59。最后我們需要做的是根據(jù)不同的年齡階段和性別進(jìn)行分組。
我們建立如下表。


由上我們可以看出有20-39歲的男性,也有20-39歲的女性。也有40-59歲的男性等,關(guān)鍵在于我們怎么利用SQL根據(jù)國民成年人體質(zhì)測試文檔計(jì)算出上述成年人的實(shí)際年齡呢。
SELECT Id , DATEDIFF(YEAR, Birthday, GETDATE()) AS age , Name FROM dbo.t1

看到上述查詢明顯不正確,未到出生日期的人年齡并未減掉1,此時(shí)我們可以利用DATEPART函數(shù),第一個(gè)參數(shù)指定為dayofyear,此參數(shù)表明指定日期到在這一年的天數(shù),例如我們想要獲取當(dāng)前已經(jīng)過了多少天。
SELECT DATEPART(dayofyear, GETDATE())

SELECT DATEPART(dayofyear, '2017-12-31')

我們通過出生日期的天數(shù)和當(dāng)前日期的天數(shù),若大于當(dāng)前日期天數(shù)則說明生日還未到,否則減掉1。
SELECT Id ,
DATEDIFF(YEAR, Birthday, GETDATE())
- CASE WHEN DATEPART(DAYOFYEAR, Birthday) > DATEPART(DAYOFYEAR,
GETDATE()) THEN 1
ELSE 0
END Age ,
Name
FROM dbo.t1

此時(shí)我們完成了年齡階段的區(qū)分,下面我們再插入到另外一個(gè)數(shù)據(jù)庫它test2中。 這里我能想到的是兩種種方式,若還有其他歡迎補(bǔ)充。
LEFT JOIN ....IS NULL
我們利用左連接來進(jìn)行插入,同時(shí)若重復(fù)的話則另外需要插入的表主鍵必定不為NULL,所以我們外加NULL判斷則可以去除重復(fù)插入問題。
INSERT INTO test2.dbo.t2
( UserId ,
Birthday ,
Gender ,
Name
)
SELECT t1.Id ,
t1.Birthday ,
t1.Gender ,
t1.Name
FROM dbo.t1 AS t1
LEFT JOIN test2.dbo.t2 AS t2 ON t1.Id = t2.UserId
WHERE t2.Id IS NULL

當(dāng)再次執(zhí)行時(shí)則返回受影響行數(shù)為0

NOT EXISTS/NOT IN
INSERT INTO test2.dbo.t2
( UserId ,
Birthday ,
Gender ,
Name
)
SELECT t1.Id ,
t1.Birthday ,
t1.Gender ,
t1.Name
FROM dbo.t1 AS t1
WHERE NOT EXISTS(SELECT t2.UserId
FROM test2.dbo.t2 t2
WHERE t2.UserId = t1.Id)
總結(jié)
本節(jié)我們講述了利用寫SQL腳本避免重復(fù)插入問題,同時(shí)來講述了如何根據(jù)出生日期查詢實(shí)際年齡。
好了,以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問大家可以留言交流,謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
大數(shù)據(jù)之Spark基礎(chǔ)環(huán)境
本篇文章開始介紹Spark基礎(chǔ)知識(shí),包括Spark誕生的背景,應(yīng)用環(huán)境以及入門案例等,感興趣的同學(xué)可以參考閱讀本文2023-04-04
SQL大量數(shù)據(jù)查詢的優(yōu)化及非用like不可時(shí)的處理方案
這篇文章主要介紹了SQL大量數(shù)據(jù)查詢的優(yōu)化及非用like不可時(shí)的處理方案,需要的朋友可以參考下2015-07-07
8種主流NoSQL數(shù)據(jù)庫系統(tǒng)特性對(duì)比和最佳應(yīng)用場景
這篇文章主要介紹了8種主流NoSQL數(shù)據(jù)庫系統(tǒng)特性對(duì)比和最佳應(yīng)用場景,對(duì)選擇一個(gè)NoSQL數(shù)據(jù)庫來說是一個(gè)不錯(cuò)的參考文章,需要的朋友可以參考下2014-06-06
redis數(shù)據(jù)庫查找key在內(nèi)存中的位置的方法
這篇文章主要介紹了redis數(shù)據(jù)庫查找key在內(nèi)存中的位置的方法,需要的朋友可以參考下2014-03-03
StarRocks數(shù)據(jù)庫詳解(什么是StarRocks)
StarRocks是一個(gè)高性能的全場景MPP數(shù)據(jù)庫,支持多種數(shù)據(jù)導(dǎo)入導(dǎo)出方式,包括Spark、Flink、Hadoop等,它采用分布式架構(gòu),支持多副本和彈性容錯(cuò),本文介紹StarRocks詳解,感興趣的朋友一起看看吧2025-03-03

