MySQL中刪除重復(fù)數(shù)據(jù)SQL的三種寫法
要在 MySQL 中刪除重復(fù)的數(shù)據(jù)并只保留一條,可以使用下面的方法(要用的時候直接復(fù)制小改下條件和表名稱即即可)
方法一:使用 left join + 子查詢刪除重復(fù)數(shù)據(jù)(推薦)
溫馨提示:本人在 500w 數(shù)據(jù)下執(zhí)行此 SQL 耗費 15s-30s 左右
使用 left join (推薦方法刪除重復(fù)數(shù)據(jù),添加唯一組合索引,可以使用,數(shù)據(jù)量大的也可以)
// 先把歷史數(shù)據(jù)刪除,才能夠添加唯一的組合索引
DELETE u1
FROM uf_cs_record_batch_detail u1
LEFT JOIN (
SELECT MIN(id) AS min_id
FROM uf_cs_record_batch_detail
GROUP BY cs_contact_name, cs_safe_remark
) u2
ON u1.id = u2.min_id
WHERE u2.min_id IS NULL;
另外在附上添加唯一組合索引的 SQL 寫法(很實用):
// 添加組合的唯一索引 ALTER TABLE uf_cs_record_batch_detail ADD UNIQUE KEY idx_uni_contact_safe_stat (cs_contact_name, cs_safe_remark);
方法二:創(chuàng)建臨時表(需分多步執(zhí)行,邏輯清晰,但會改變ID值)
這種方法假設(shè)你有一個表 your_table,并且你要基于某些列來判斷哪些數(shù)據(jù)是重復(fù)的。
例如,如果你想刪除基于 column1 和 column2 的重復(fù)記錄,只保留一條記錄,你可以按照以下步驟操作:
- 使用
CREATE TABLE語句創(chuàng)建一個臨時表,用于存儲唯一的記錄。 - 使用
INSERT INTO ... SELECT語句將唯一的記錄插入到臨時表中。 - 刪除原始表中的所有記錄。
- 使用
INSERT INTO ... SELECT語句將臨時表中的記錄插入回原始表。 - 刪除臨時表。
以下是一個完整的 SQL 例子:
-- 創(chuàng)建臨時表 SQL 參考
CREATETABLE temp_table AS
SELECT*FROM your_table
-- 將不重復(fù)的數(shù)據(jù)臨時存在這個 temp_table 臨時表中
INSERTINTO temp_table
SELECT*FROM your_table t1
WHERE t1.id = (
SELECTMIN(t2.id)
FROM your_table t2
WHERE t1.column1 = t2.column1
AND t1.column2 = t2.column2
);
-- 然后將源表中的數(shù)據(jù)刪除
DELETEFROM your_table whereWHERE 字段1=值;
-- 再將臨時表中不重復(fù)數(shù)據(jù)重新寫回到源表中
INSERTINTO your_table
SELECT*FROM temp_table;
-- 最后刪除臨時表
DROPTABLE temp_table;
這樣,你就成功地刪除了原始表中的重復(fù)記錄,只保留了一條唯一記錄。
注意:但是這種方法會改變原來的數(shù)據(jù) ID ,所以這種方法看場合使用
方法三:使用 JOIN 自連查詢(需要注意性能問題)
為了避免改變原來的數(shù)據(jù) ID,我們可以使用一個不同的方法,通過使用自連接來標記重復(fù)的數(shù)據(jù)并刪除多余的記錄。這種方法在保留原始 ID 的情況下刪除重復(fù)記錄。
假設(shè)你的表結(jié)構(gòu)如下:
- 表名:
your_table - 列名:
id(主鍵),column1,column2, 以及其他列。
你可以使用以下 SQL 來刪除重復(fù)記錄,只保留一條(通常是保留 ID 最小的那一條):
-- Step 1: 標記要刪除的重復(fù)記錄
DELETE t1
FROM your_table t1
INNER JOIN your_table t2
WHERE
t1.id > t2.id
AND t1.column1 = t2.column1
AND t1.column2 = t2.column2;
-- Step 2: 確認刪除成功,查看剩余數(shù)據(jù)
SELECT * FROM your_table;
解釋:
-標記要刪除的重復(fù)記錄:我們使用自連接 INNER JOIN 來找到重復(fù)的記錄,并且使用 WHERE t1.id > t2.id 來確保只刪除 id 較大的記錄,從而保 留 id 最小的記錄。
- 確認刪除成功:通過 SELECT 語句查看剩余的數(shù)據(jù),確保刪除操作正確。這個方法的優(yōu)點是:不會改變原始數(shù)據(jù)的 ID。保留每組重復(fù)記錄中 ID 最小的一條記錄。操作簡單且高效。
小總結(jié)
- 使用
left join刪除重復(fù)數(shù)據(jù)(推薦使用),適合大數(shù)據(jù)量,性能 OK - 創(chuàng)建臨時表 適合需要重建數(shù)據(jù)表的場景,適合數(shù)據(jù)量中等的情況,不過比較繁瑣
- 自連查詢 能保留最小 ID,適合不想改變 ID 的情況下刪除重復(fù)數(shù)據(jù)。
到此這篇關(guān)于MySQL中刪除重復(fù)數(shù)據(jù)SQL的三種寫法的文章就介紹到這了,更多相關(guān)MySQL刪除重復(fù)數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
MySQL常用SQL語句總結(jié)包含復(fù)雜SQL查詢
今天小編就為大家分享一篇關(guān)于MySQL常用SQL語句總結(jié)包含復(fù)雜SQL查詢,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧2019-02-02
mysql數(shù)據(jù)庫重置表主鍵id的實現(xiàn)
在我們的開發(fā)過程中,難免在做測試的時候會生成一些雜亂無章的SQL主鍵數(shù)據(jù),本文主要介紹了mysql數(shù)據(jù)庫重置表主鍵id的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2025-03-03
windows系統(tǒng)中MySQL和SQLyog的安裝和配置教程

