快捷導(dǎo)航

MySQL數(shù)據(jù)表合并去重的簡(jiǎn)單實(shí)現(xiàn)方法

更新時(shí)間：2019年05月28日 11:38:51 作者：aleo

這篇文章主要給大家介紹了關(guān)于MySQL數(shù)據(jù)表合并去重的簡(jiǎn)單實(shí)現(xiàn)方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用MySQL具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧

場(chǎng)景：

爬取的數(shù)據(jù)生成數(shù)據(jù)表，結(jié)構(gòu)與另一個(gè)主表相同，需要進(jìn)行合并+去重

解決：（直接舉例）

首先創(chuàng)建兩個(gè)表pep，pep2，其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入兩條數(shù)據(jù)，pep2中插入一條與pep中相同的一條數(shù)據(jù)

insert into pep(no) values('abc');
insert into pep(no) values('caa');

insert into pep2(no) values('abc');

將pep2的數(shù)據(jù)插入pep中

insert into pep (no) select no from pep2;

分組去重創(chuàng)建新的臨時(shí)表tmp

create table tmp select id,no from pep group by no;

注意：創(chuàng)建完這個(gè)表的id字段類型已經(jīng)不是主鍵自增

 可能也會(huì)報(bào)錯(cuò)
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column 'XXX.Y.ZZZZ' which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解決：執(zhí)行以下兩個(gè)命令：
 ```
 mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 
 mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 ```

刪除pep表，并將tmp表重命名為pep

drop table pep;
alter table tmp rename to pep;

查看desc結(jié)構(gòu)和select * from pep發(fā)現(xiàn)id的字段類型變了，這里需要改回原來的類型；

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

還有可以使用join來做去重，更快的還可以添加一個(gè)字段（可以是幾個(gè)字段+起來的的md5值），給這個(gè)字段創(chuàng)建一個(gè)唯一索引unique，以后插入數(shù)據(jù)的時(shí)候，自動(dòng)回過濾掉重復(fù)的數(shù)據(jù)。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。

您可能感興趣的文章:

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

MySQL數(shù)據(jù)表合并去重的簡(jiǎn)單實(shí)現(xiàn)方法

相關(guān)文章

最新評(píng)論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具