一、引言

在日常數(shù)據(jù)庫(kù)運(yùn)維與開發(fā)工作中，數(shù)據(jù)重復(fù)是高頻出現(xiàn)的問(wèn)題之一。尤其對(duì)于新聞?lì)悩I(yè)務(wù)場(chǎng)景，news表中可能因接口重復(fù)調(diào)用、數(shù)據(jù)同步異常等原因，產(chǎn)生url相同但發(fā)布時(shí)間（publishtime）不同的重復(fù)記錄。這類重復(fù)數(shù)據(jù)會(huì)占用額外存儲(chǔ)資源，還可能導(dǎo)致前端展示錯(cuò)亂、統(tǒng)計(jì)分析失真等問(wèn)題。

本文將針對(duì)SQL Server數(shù)據(jù)庫(kù)，解決“刪除news表中url重復(fù)數(shù)據(jù)，僅保留publishtime最大（最新發(fā)布）記錄”的核心需求，提供一套高效、安全的單條SQL實(shí)現(xiàn)方案，并深入解析其底層邏輯、擴(kuò)展場(chǎng)景適配及關(guān)鍵注意事項(xiàng)，助力開發(fā)者快速落地業(yè)務(wù)需求。

二、核心需求與環(huán)境說(shuō)明

2.1 需求拆解

• 目標(biāo)表：news
• 涉及字段：ID（唯一標(biāo)識(shí)，推測(cè)為主鍵）、url（重復(fù)判斷依據(jù)）、publishtime（時(shí)間排序依據(jù)）
• 核心動(dòng)作：刪除url重復(fù)的記錄
• 保留規(guī)則：每個(gè)url對(duì)應(yīng)的多條記錄中，僅保留publishtime最大的那條（最新發(fā)布）
• 實(shí)現(xiàn)要求：?jiǎn)螚lSQL語(yǔ)句完成，無(wú)需創(chuàng)建臨時(shí)表或中間表

2.2 環(huán)境適配

本方案基于SQL Server原生語(yǔ)法實(shí)現(xiàn)，兼容SQL Server 2008及以上所有版本，無(wú)需依賴第三方工具或插件，可直接在SSMS、DBeaver等數(shù)據(jù)庫(kù)客戶端執(zhí)行。

三、核心實(shí)現(xiàn)方案（單條SQL搞定）

解決該需求的最優(yōu)方案是「CTE（公用表表達(dá)式）+ 窗口函數(shù)」組合，該方案邏輯清晰、執(zhí)行高效，且能通過(guò)“先預(yù)覽后刪除”的方式保障數(shù)據(jù)安全。以下分兩步展開，建議先執(zhí)行預(yù)覽語(yǔ)句確認(rèn)無(wú)誤后，再執(zhí)行刪除操作。

3.1 第一步：預(yù)覽待刪除的重復(fù)記錄（關(guān)鍵！避免誤刪）

在執(zhí)行刪除操作前，務(wù)必先查詢出待刪除的記錄，確認(rèn)是否符合預(yù)期。SQL語(yǔ)句如下：

-- 預(yù)覽：查詢url重復(fù)且非publishtime最大的記錄（待刪除數(shù)據(jù)）
WITH NewsCTE AS (
    SELECT 
        ID,
        url,
        publishtime,
        -- 按url分組，組內(nèi)按publishtime降序排序，生成連續(xù)行號(hào)
        ROW_NUMBER() OVER (PARTITION BY url ORDER BY publishtime DESC) AS rn
    FROM news
)
SELECT ID, url, publishtime FROM NewsCTE WHERE rn > 1;

3.2 第二步：執(zhí)行刪除操作（單條SQL完成）

確認(rèn)預(yù)覽結(jié)果無(wú)誤后，執(zhí)行以下SQL語(yǔ)句，直接刪除重復(fù)記錄（僅保留每個(gè)url下publishtime最大的記錄）：

-- 最終刪除語(yǔ)句：刪除url重復(fù)數(shù)據(jù)，保留publishtime最大的記錄
WITH NewsCTE AS (
    SELECT 
        -- 僅需生成行號(hào)，無(wú)需查詢所有字段，提升執(zhí)行效率
        ROW_NUMBER() OVER (PARTITION BY url ORDER BY publishtime DESC) AS rn
    FROM news
)
DELETE FROM NewsCTE WHERE rn > 1;

四、核心邏輯深度解析

上述方案的核心在于CTE與窗口函數(shù)的結(jié)合，我們逐句拆解邏輯，幫助大家理解其底層原理：

4.1 CTE（公用表表達(dá)式）的作用

NewsCTE是一個(gè)臨時(shí)的結(jié)果集，用于存儲(chǔ)對(duì)news表處理后的中間數(shù)據(jù)（此處主要是生成的行號(hào)rn）。CTE的優(yōu)勢(shì)在于簡(jiǎn)化SQL語(yǔ)句結(jié)構(gòu)，避免重復(fù)編寫子查詢，同時(shí)讓邏輯更易讀，尤其適合復(fù)雜的分組排序場(chǎng)景。

4.2 窗口函數(shù)ROW_NUMBER()的核心作用

窗口函數(shù)（也叫分析函數(shù)）的核心是“分組排序并生成標(biāo)識(shí)”，此處用到的ROW_NUMBER()函數(shù)語(yǔ)法解析如下：

ROW_NUMBER() OVER (PARTITION BY url ORDER BY publishtime DESC) AS rn

• PARTITION BY url：按url字段進(jìn)行分組，將相同url的所有記錄歸為一個(gè)“窗口”（組），這是判斷“重復(fù)”的核心依據(jù)——同一組內(nèi)的記錄url必然相同。
• ORDER BY publishtime DESC：在每個(gè)分組（窗口）內(nèi)部，按publishtime字段降序排序（DESC表示降序，ASC表示升序），這樣分組內(nèi)publishtime最大（最新）的記錄會(huì)排在第一位。
• AS rn：為排序后的每條記錄生成一個(gè)連續(xù)的行號(hào)（rn），分組內(nèi)第一條記錄（publishtime最大）的行號(hào)為1，第二條為2，以此類推。

4.3 刪除邏輯的閉環(huán)

通過(guò)上述處理后，每個(gè)url分組內(nèi)：

• rn = 1：publishtime最大的記錄（需要保留的記錄）
• rn > 1：publishtime非最大的重復(fù)記錄（需要?jiǎng)h除的記錄）

因此，DELETE FROM NewsCTE WHERE rn > 1 語(yǔ)句會(huì)精準(zhǔn)刪除所有重復(fù)記錄，僅保留每個(gè)url對(duì)應(yīng)的最新發(fā)布記錄，實(shí)現(xiàn)需求目標(biāo)。

五、擴(kuò)展場(chǎng)景適配（應(yīng)對(duì)復(fù)雜業(yè)務(wù)需求）

實(shí)際業(yè)務(wù)中，可能存在更復(fù)雜的場(chǎng)景（如publishtime相同），我們基于核心方案進(jìn)行擴(kuò)展，滿足多樣化需求。

5.1 場(chǎng)景1：同一url+同一publishtime，保留ID最大的記錄

若存在“同一url、同一publishtime”的多條重復(fù)記錄（即發(fā)布時(shí)間完全一致），此時(shí)僅按publishtime排序無(wú)法區(qū)分唯一記錄，可疊加ID字段（主鍵，唯一）排序，保留ID最大的記錄：

WITH NewsCTE AS (
    SELECT 
        ROW_NUMBER() OVER (
            PARTITION BY url 
            ORDER BY publishtime DESC, ID DESC  -- 先按時(shí)間降序，再按ID降序
        ) AS rn
    FROM news
)
DELETE FROM NewsCTE WHERE rn > 1;

5.2 場(chǎng)景2：保留publishtime最小的記錄（反向需求）

若需求變?yōu)?ldquo;刪除重復(fù)url記錄，保留最早發(fā)布（publishtime最?。┑挠涗?rdquo;，僅需將排序規(guī)則改為升序（ASC，可省略不寫）：

WITH NewsCTE AS (
    SELECT 
        ROW_NUMBER() OVER (PARTITION BY url ORDER BY publishtime ASC) AS rn
    FROM news
)
DELETE FROM NewsCTE WHERE rn > 1;

六、關(guān)鍵注意事項(xiàng)（生產(chǎn)環(huán)境必看）

刪除操作屬于高危操作，尤其在生產(chǎn)環(huán)境中，必須嚴(yán)格遵守以下 注意事項(xiàng)，避免數(shù)據(jù)丟失或業(yè)務(wù)異常：

6.1 先預(yù)覽，后刪除

務(wù)必先執(zhí)行3.1節(jié)的預(yù)覽語(yǔ)句，確認(rèn)待刪除的記錄數(shù)量、內(nèi)容與預(yù)期一致。若直接執(zhí)行刪除語(yǔ)句，一旦誤刪（如分組字段寫錯(cuò)、排序方向錯(cuò)誤），恢復(fù)數(shù)據(jù)成本極高。

6.2 執(zhí)行前做好數(shù)據(jù)備份

對(duì)于生產(chǎn)環(huán)境的news表，建議在執(zhí)行刪除操作前，進(jìn)行全量備份或增量備份。備份語(yǔ)句示例（完整備份）：

BACKUP DATABASE [你的數(shù)據(jù)庫(kù)名] TO DISK = 'D:\Backup\news_backup.bak' WITH INIT;

6.3 大數(shù)據(jù)量場(chǎng)景下的索引優(yōu)化

若news表數(shù)據(jù)量較大（百萬(wàn)級(jí)及以上），直接執(zhí)行窗口函數(shù)可能會(huì)因全表掃描導(dǎo)致執(zhí)行效率低下。建議為url和publishtime建立聯(lián)合索引，提升分組和排序的執(zhí)行速度：

-- 建立聯(lián)合索引：url（分組字段）+ publishtime（排序字段，降序）
CREATE INDEX IX_news_url_publishtime ON news(url, publishtime DESC);

索引創(chuàng)建后，窗口函數(shù)可通過(guò)索引快速定位分組和排序數(shù)據(jù)，執(zhí)行效率可提升50%以上（具體視數(shù)據(jù)量而定）。

6.4 避免并發(fā)場(chǎng)景下的操作沖突

若news表存在高并發(fā)寫入（如實(shí)時(shí)同步新聞數(shù)據(jù)），建議在執(zhí)行刪除操作時(shí)，通過(guò)事務(wù)或鎖機(jī)制避免并發(fā)沖突，防止刪除過(guò)程中新增重復(fù)數(shù)據(jù)或影響正常業(yè)務(wù)寫入：

-- 開啟事務(wù)，確保刪除操作原子性
BEGIN TRANSACTION;

WITH NewsCTE AS (
    SELECT 
        ROW_NUMBER() OVER (PARTITION BY url ORDER BY publishtime DESC) AS rn
    FROM news WITH (UPDLOCK, HOLDLOCK)  -- 加鎖，防止并發(fā)修改
)
DELETE FROM NewsCTE WHERE rn > 1;

-- 確認(rèn)無(wú)誤后提交事務(wù)，否則回滾
COMMIT TRANSACTION;
-- ROLLBACK TRANSACTION;

七、總結(jié)

本文針對(duì)SQL Server中news表的重復(fù)數(shù)據(jù)刪除需求，提供了“CTE+窗口函數(shù)”的單條SQL高效實(shí)現(xiàn)方案，核心優(yōu)勢(shì)的在于：

• 簡(jiǎn)潔性：無(wú)需臨時(shí)表，單條SQL完成需求，易編寫、易維護(hù)；
• 高效性：基于窗口函數(shù)的分組排序，性能優(yōu)于傳統(tǒng)的子查詢刪除方案；
• 靈活性：可通過(guò)調(diào)整分組字段、排序規(guī)則，適配多樣化的業(yè)務(wù)場(chǎng)景。

最后再次強(qiáng)調(diào)：刪除數(shù)據(jù)前務(wù)必做好預(yù)覽和備份，生產(chǎn)環(huán)境需謹(jǐn)慎操作。若你在實(shí)際落地過(guò)程中遇到其他復(fù)雜場(chǎng)景（如多字段去重、關(guān)聯(lián)表去重），可基于本文核心邏輯進(jìn)行擴(kuò)展。

以上就是SQL Server刪除重復(fù)數(shù)據(jù)的核心方案的詳細(xì)內(nèi)容，更多關(guān)于SQL Server刪除重復(fù)數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論