快捷導(dǎo)航

MySQL中的多字段相同數(shù)據(jù)去重復(fù)

更新時間：2022年12月21日 15:59:29 作者：嗨皮螃

這篇文章主要介紹了MySQL中的多字段相同數(shù)據(jù)去重復(fù)問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

MySQL多字段相同數(shù)據(jù)去重復(fù)

MySQL多字段去重復(fù)實際上是單字段去重復(fù)的衍生，原理就是把多字段數(shù)據(jù)通過子查詢合并為單字段的數(shù)據(jù)表，再通過單字段數(shù)據(jù)group by 進(jìn)行匯總，用 having把 count(字段) > 1的數(shù)據(jù)都顯示出來，最后把查找到的重復(fù)數(shù)據(jù) 用min方法或者max方法獲取最小id或者最大id來選擇刪除。

1、多字段轉(zhuǎn)單字段

這里需要把id顯示出來，后面有用到

SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

2、把多字段合并為單字段

的查詢結(jié)果放入子查詢，查找存在重復(fù)的數(shù)據(jù)，并顯示重復(fù)數(shù)

SELECT COUNT(a.id),a.uuid FROM (
? ? SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

3、將查詢到的重復(fù)id

來獲取重復(fù)數(shù)據(jù)里最小的id

SELECT min(a.id) FROM (

? ? ?SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

4、將獲取到重復(fù)數(shù)據(jù)最小的id值

放入 IN內(nèi)作為刪除數(shù)據(jù)的條件

DELETE FROM static_url WHERE id IN(

? ? SELECT min(a.id) FROM (

? ? ? ? SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

? ? ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

)

5、bug補(bǔ)充

如果直接執(zhí)行步驟4的代碼時，MySQL會卡住，會卡住，卡住，??！

雖然邏輯上來說沒問題，但執(zhí)行的時候嵌套過多子查詢，就會出現(xiàn)問題，所以要把子查詢數(shù)據(jù)拎出來再放入刪除語句內(nèi)

DELETE FROM static_url WHERE id IN(

? ?91383,26240,26256,26269,26129,26108,26029,26067,26095,26309,26595,51805,37459,32493,32417

)

6、將步驟4的代碼多執(zhí)行幾次

直到執(zhí)行結(jié)果顯示沒有刪除到數(shù)據(jù)的時候才停止，因為重復(fù)數(shù)據(jù)不一定只重復(fù)一次，很可能重復(fù)好幾次，每一次執(zhí)行只能刪除重復(fù)數(shù)據(jù)的最小id，不是只保留最大id

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

MySQL報錯1118,數(shù)據(jù)類型長度過長問題及解決
在使用MySQL過程中,常見的一個問題是報錯1118,這通常發(fā)生在創(chuàng)建表時,錯誤提示為“Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual
2024-10-10
MySQL數(shù)據(jù)庫手冊DATABASE操作與編碼(小白入門篇)
這篇文章主要介紹了MySQL數(shù)據(jù)庫手冊DATABASE操作與編碼的小白入門篇,有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2023-05-05
MySQL實現(xiàn)列轉(zhuǎn)行與行轉(zhuǎn)列的操作代碼
在處理數(shù)據(jù)時,我們常常會遇到需要將表中的列（字段）轉(zhuǎn)換為行,或?qū)⑿修D(zhuǎn)換為列的情況,這種操作通常被稱為“列轉(zhuǎn)行”（Pivoting）和“行轉(zhuǎn)列”（Unpivoting）,本文將向您介紹如何使用 CASE 語句、聚合函數(shù)以及 GROUP BY 子句來完成列轉(zhuǎn)行和行轉(zhuǎn)列的操作
2024-09-09
DBA應(yīng)該知道的一些關(guān)于SQL Server跟蹤標(biāo)記的使用
本篇文章小編為大家介紹，DBA應(yīng)該知道的一些關(guān)于SQL Server跟蹤標(biāo)記的使用。需要的朋友參考下
2013-04-04
MySQL的多版本并發(fā)控制MVCC的實現(xiàn)
MVCC就是多版本并發(fā)控制，本文主要介紹了MySQL的多版本并發(fā)控制MVCC的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-12-12
MySQL實現(xiàn)類似Oracle序列的方案
今天小編就為大家分享一篇關(guān)于MySQL實現(xiàn)類似Oracle序列的方案，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
2019-03-03
MySQL中大對象的多版本并發(fā)控制詳解
這篇文章主要給大家介紹了關(guān)于MySQL中大對象的多版本并發(fā)控制的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用mysql具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2018-11-11
MySQL CPU過高的排查方法
這篇文章主要介紹了MySQL CPU過高的排查方法,通過top命令查看服務(wù)器CPU資源使用情況,明確CPU占用率較高的是否是mysqld進(jìn)程,文章通過圖文介紹的非常詳細(xì),需要的朋友可以參考下
2023-11-11
MySQL 日期時間格式化函數(shù) DATE_FORMAT() 的使用示例詳解
`DATE_FORMAT()`是MySQL中用于格式化日期時間的函數(shù),本文詳細(xì)介紹了其語法、格式化字符串的含義以及常見日期時間格式組合,感興趣的朋友一起看看吧
2025-03-03
mysql添加索引和不添加索引的區(qū)別及說明
這篇文章主要介紹了mysql添加索引和不添加索引的區(qū)別及說明,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-01-01