MySQL中刪除重復數(shù)據(jù)的簡單方法

更新時間：2015年05月30日 11:08:24 投稿：goldensun

這篇文章主要介紹了MySQL中刪除重復數(shù)據(jù)的簡單方法,比起一般的NOT IN語句的效率更為高,需要的朋友可以參考下

MYSQL里有五百萬數(shù)據(jù)，但大多是重復的，真實的就180萬，于是想怎樣把這些重復的數(shù)據(jù)搞出來，在網(wǎng)上找了一圈，好多是用NOT IN這樣的代碼，這樣效率很低，自己琢磨組合了一下，找到一個高效的處理方式，用這個方式，五百萬數(shù)據(jù)，十來分鐘就全部去除重復了，請各位參考。

第一步：從500萬數(shù)據(jù)表data_content_152里提取出不重復的字段SFZHM對應的ID字段到TMP3表

create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;

第二步：創(chuàng)建新表RES

CREATE TABLE `res` (
`id` int(11),
`sfz` char(20)
) ENGINE=MyISAM;

第三步：把TMP3表ID對應到data_content_152里需要提取的數(shù)據(jù)添加到RES表的SFZ字段

INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1

至此，就在MYSQL里實現(xiàn)了，給數(shù)據(jù)表data_content_152完全刪除重復數(shù)據(jù)，把去重復后的數(shù)據(jù)導入到RES表。

您可能感興趣的文章:

MySQL
重復

MySQL利用profile分析慢sql詳解（group left join效率高于子查詢）
最近因為一個用了子查詢的sql語句查詢很慢，嚴重影響了性能，所以需要進行優(yōu)化，下面這篇文章主要跟大家介紹了關于MySQL利用profile分析慢sql的相關資料，文中介紹的非常詳細，需要的朋友們可以參考借鑒，下面來一起看看吧。
2017-03-03
MySQL中的IF語句使用小結
在MySQL數(shù)據(jù)庫中,IF 語句是一種常見的條件控制語句,本文介紹了 MySQL 中 IF 語句的基本用法以及實際應用場景,具有一定的參考價值,感興趣的可以了解一下
2023-10-10
清理Mysql general_log的方法總結
在本篇文章里小編給大家分享的是一篇關于清理Mysql general_log的相關知識點，需要的朋友們學習下。
2019-10-10
MySQL行級鎖、表級鎖、頁級鎖詳細介紹
這篇文章主要介紹了MySQL行級鎖、表級鎖、頁級鎖詳細介紹,同時列舉了一些實例說明,需要的朋友可以參考下
2014-05-05
MySQL中查詢?nèi)罩九c慢查詢?nèi)罩镜幕緦W習教程
這篇文章主要介紹了MySQL中查詢?nèi)罩九c慢查詢?nèi)罩镜幕緦W習教程,文中還提到了MySQL自帶的Mysqldumpslow日志分析工具的使用,需要的朋友可以參考下
2015-12-12
解決MySQL數(shù)據(jù)庫意外崩潰導致表數(shù)據(jù)文件損壞無法啟動的問題
這篇文章主要介紹了MySQL數(shù)據(jù)庫意外崩潰導致表數(shù)據(jù)文件損壞無法啟動的問題及解決方法，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2020-07-07
windows10+mysql8.0.11zip安裝教程詳解
這篇文章主要介紹了windows10+mysql8.0.11zip安裝教程詳解，本文給大家介紹的非常詳細，具有參考借鑒價值,需要的朋友可以參考下
2018-05-05
mysql序號rownum行號實現(xiàn)方式
這篇文章主要介紹了mysql序號rownum行號實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-12-12
Windows安裝MySQL8.0.28.0.msi方式(圖文詳解)
這篇文章主要介紹了Windows安裝MySQL8.0.28.0.msi,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2022-03-03
MYSQL表中某字段所有值大小寫轉換
這篇文章主要為大家介紹了MYSQL表中某字段所有值大小寫轉換示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
2023-09-09