SQL Server 海量數(shù)據(jù)導(dǎo)入的最快方法
更新時間：2008年12月08日 12:26:36 作者：
這篇論壇文章（賽迪網(wǎng)技術(shù)社區(qū)）詳細(xì)講解了SQL Server海量數(shù)據(jù)導(dǎo)入的最快方法，更多內(nèi)容請參考下文
最近做某項目的數(shù)據(jù)庫分析，要實現(xiàn)對海量數(shù)據(jù)的導(dǎo)入問題，就是最多把200萬條數(shù)據(jù)一次導(dǎo)入sqlserver中，如果使用普通的insert語句進(jìn)行寫出的話，恐怕沒個把小時完不成任務(wù)，先是考慮使用bcp，但這是基于命令行的，對用戶來說友好性太差，實際不大可能使用；最后決定使用BULK INSERT語句實現(xiàn)，BULK INSERT也可以實現(xiàn)大數(shù)據(jù)量的導(dǎo)入，而且可以通過編程實現(xiàn)，界面可以做的非常友好，它的速度也很高：導(dǎo)入100萬條數(shù)據(jù)不到20秒中，在速度上恐怕無出其右者。
但是使用這種方式也有它的幾個缺點：
1.需要獨占接受數(shù)據(jù)的表
2.會產(chǎn)生大量的日志
3.從中取數(shù)據(jù)的文件有格式限制
但相對于它的速度來說，這些缺點都是可以克服的，而且你如果愿意犧牲一點速度的話，還可以做更精確的控制，甚至可以控制每一行的插入。
對與產(chǎn)生占用大量空間的日志的情況，我們可以采取在導(dǎo)入前動態(tài)更改數(shù)據(jù)庫的日志方式為大容量日志記錄恢復(fù)模式，這樣就不會記錄日志了，導(dǎo)入結(jié)束后再恢復(fù)原來的數(shù)據(jù)庫日志記錄方式。
具體的一個語句我們可以這樣寫：
alter database taxi
set RECOVERY BULK_LOGGED
BULK INSERT taxi..detail FROM 'e:\out.txt'
WITH (
DATAFILETYPE = 'char',
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n',
TABLOCK
)
alter database taxi
set RECOVERY FULL
這個語句將從e:\out.txt導(dǎo)出數(shù)據(jù)文件到數(shù)據(jù)庫taxi的detail表中。
但是使用這種方式也有它的幾個缺點：
1.需要獨占接受數(shù)據(jù)的表
2.會產(chǎn)生大量的日志
3.從中取數(shù)據(jù)的文件有格式限制
但相對于它的速度來說，這些缺點都是可以克服的，而且你如果愿意犧牲一點速度的話，還可以做更精確的控制，甚至可以控制每一行的插入。
對與產(chǎn)生占用大量空間的日志的情況，我們可以采取在導(dǎo)入前動態(tài)更改數(shù)據(jù)庫的日志方式為大容量日志記錄恢復(fù)模式，這樣就不會記錄日志了，導(dǎo)入結(jié)束后再恢復(fù)原來的數(shù)據(jù)庫日志記錄方式。
具體的一個語句我們可以這樣寫：
復(fù)制代碼 代碼如下:
alter database taxi
set RECOVERY BULK_LOGGED
BULK INSERT taxi..detail FROM 'e:\out.txt'
WITH (
DATAFILETYPE = 'char',
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n',
TABLOCK
)
alter database taxi
set RECOVERY FULL
這個語句將從e:\out.txt導(dǎo)出數(shù)據(jù)文件到數(shù)據(jù)庫taxi的detail表中。
相關(guān)文章
當(dāng)單表數(shù)據(jù)太多時，我們可以水平劃分,參考 SqlServer 分區(qū)視圖實現(xiàn)水平分表 ，水平劃分可以提高表的一些性能2021-04-04
SQL?Server?DATEDIFF()?函數(shù)用法
這篇文章主要介紹了SQL?Server?DATEDIFF()?函數(shù)的定義和用法,通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-12-12
在使用SQL Server數(shù)據(jù)庫時,有時我們需要查詢表中的最近一條記錄,這可能涉及到查找表中的最新數(shù)據(jù)、最新訂單、或者按時間戳獲取最近的更新等情況,本文將介紹幾種常用的查詢方法來實現(xiàn)這個目標(biāo),需要的朋友可以參考下2024-09-09
Windows2012配置SQLServer2014AlwaysOn的圖解
SQLserver 2014 AlwaysOn增強了原有的數(shù)據(jù)庫鏡像功能，使得先前的單一數(shù)據(jù)庫故障轉(zhuǎn)移變成以組(多個數(shù)據(jù))為單位的故障轉(zhuǎn)移。接下來通過本文給大家介紹Windows2012配置SQLServer2014AlwaysOn的方法，感興趣的朋友一起學(xué)習(xí)吧2016-04-04
Sql?Server?"用戶登錄失敗,錯誤編18456"的解決過程
在我們使用數(shù)據(jù)庫的時候,偶爾會遇到一些登錄上的錯誤提示,下面這篇文章主要給大家介紹了關(guān)于Sql?Server?"用戶登錄失敗,錯誤編18456"的解決過程,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
SQL SERVER數(shù)據(jù)庫收縮日志的實現(xiàn)步驟
這篇文章主要介紹了SQL SERVER數(shù)據(jù)庫收縮日志的實現(xiàn)步驟,文中通過圖文介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2024-04-04
SQL的基本對象主要有常量，表示符，分隔符，保留關(guān)鍵字。2010-05-05
做過運維的朋友們都可能會遇到,服務(wù)器應(yīng)用程序運行慢的問題,下面這篇文章主要給大家介紹了關(guān)于sql?server卡慢問題定位與排查過程的相關(guān)資料,需要的朋友可以參考下2023-03-03
這篇文章主要為大家詳細(xì)介紹了Win10 64位安裝個人版SQL2000圖文教程，感興趣的小伙伴們可以參考一下2016-07-07
事務(wù)日志是一種記錄每次數(shù)據(jù)庫修改操作的日志,它記錄了每一次事務(wù)修改的詳細(xì)日志,但磁盤容量始終有限制,本文主要介紹了SQL Server清除事務(wù)日志的兩種方式,具有一定的參考價值,感興趣的可以了解一下2023-10-10