快捷導(dǎo)航

MySQL去重中distinct和group?by的區(qū)別淺析

更新時間：2022年11月09日 11:10:15 作者：小黑孩666

今天無意中聽到有同事在討論,distinct和group by有什么區(qū)別,下面這篇文章主要給大家介紹了關(guān)于MySQL去重中distinct和group?by區(qū)別的相關(guān)資料,需要的朋友可以參考下

今天在寫業(yè)務(wù)需要對數(shù)據(jù)庫重復(fù)字段進(jìn)行去重時，因?yàn)槭侨ブ?，首先想到的是distinct關(guān)鍵字。于是一小時過去了。。。。（菜鳥一個，大家輕點(diǎn)罵）

我把問題的過程用sql語句演示給大家演示一下

首先我使用的是mybatis-plus，代碼如下

QueryWrapper<ProjectCompany> wrapper = new QueryWrapper<>();
        wrapper.select("DISTINCT project_id,company_id,company_name,is_delete").eq("project_id",projectId).eq("is_delete","0");

即 "DISTINCT project_id,company_id,company_name,is_delete"

查出的結(jié)果

id=null。這是我不希望看到的。沒有id的話，下面的業(yè)務(wù)就不好走了。

于是我在distinct后面加上了id，distinct查出來的數(shù)據(jù)就是全部數(shù)據(jù)了，相當(dāng)于distinct沒起作用。冥思苦想一小時。。。。

后來想到了group by分組，于是用了一下

LambdaQueryWrapper<ProjectCompany> wrapper = new LambdaQueryWrapper<>();
        wrapper.eq(ProjectCompany::getProjectId,projectId).eq(ProjectCompany::getIsDelete,"0").groupBy(ProjectCompany::getProjectId);

發(fā)現(xiàn)查出來的數(shù)據(jù)也進(jìn)行去重了，id也有值

所以就很好奇 distinct和group by有啥區(qū)別，大概總結(jié)以下幾點(diǎn)：

distinct適合查單個字段去重，支持單列、多列的去重方式。單列去重的方式簡明易懂，即相同值只保留1個。
多列的去重則是根據(jù)指定的去重的列信息來進(jìn)行，即只有所有指定的列信息都相同，才會被認(rèn)為是重復(fù)的信息。

而 group by 可以針對要查詢的全部字段中的部分字段去重，它的作用主要是：獲取數(shù)據(jù)表中以分組字段為依據(jù)的其他統(tǒng)計(jì)數(shù)據(jù)。

補(bǔ)充：MySQL中distinct和group by去重性能對比

前言

MySQL：5.7.17
存儲引擎：InnoDB
實(shí)驗(yàn)?zāi)康模罕疚闹饕獪y試在某字段有無索引、各種不同值個數(shù)情況下，記錄對此字段其使用DISTINCT/GROUP BY去重的查詢語句執(zhí)行時間，對比兩者在不同場景下的去重性能，實(shí)驗(yàn)過程中關(guān)閉MySQL查詢緩存。
實(shí)驗(yàn)表格：

表名	記錄數(shù)	查詢字段有無索引	查詢字段不同值個數(shù)
tab_1	100000	N	3
tab_2	100000	Y	3
tab_3	100000	N	10000
tab_4	100000	Y	10000

實(shí)驗(yàn)過程

1）創(chuàng)建測試表

表創(chuàng)建語句：

DROP TABLE IF EXISTS `tab_1`;
CREATE TABLE `tab_1` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `value` int(10) unsigned NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `tab_2`;
CREATE TABLE `tab_2` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `value` int(10) unsigned NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_value` (`value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `tab_3`;
CREATE TABLE `tab_3` LIKE `tab_1`;

DROP TABLE IF EXISTS `tab_4`;
CREATE TABLE `tab_4` LIKE `tab_2`;

2）生成測試數(shù)據(jù)

表數(shù)據(jù)插入過程：

DROP PROCEDURE IF EXISTS generateRandomData;
delimiter $$
-- tblName為插入表,field為插入字段,num為插入字段值上限,count為插入的記錄數(shù)
CREATE PROCEDURE generateRandomData(IN tblName VARCHAR(30),IN field VARCHAR(30),IN num INT UNSIGNED,IN count INT UNSIGNED)
BEGIN
	-- 聲明循環(huán)變量
	DECLARE i INT UNSIGNED DEFAULT 1;
	-- 循環(huán)插入隨機(jī)整數(shù)1~num,共插入count條數(shù)據(jù)
	w1:WHILE i<=count DO
		set i=i+1;
		set @val = FLOOR(RAND()*num+1);
		set @statement = CONCAT('INSERT INTO ',tblName,'(`',field,'`) VALUES(',@val,')');
		PREPARE stmt FROM @statement;
		EXECUTE stmt;
	END WHILE w1;
END $$
delimiter ;

調(diào)用過程隨機(jī)生成測試數(shù)據(jù)：

call generateRandomData('tab_1','value',3,100000);
INSERT INTO tab_2 SELECT * FROM tab_1;

call generateRandomData('tab_3','value',10000,100000);
INSERT INTO tab_4 SELECT * FROM tab_3;

3）執(zhí)行查詢語句，記錄執(zhí)行時間

查詢語句及對應(yīng)執(zhí)行時間如下：

SELECT DISTINCT(`value`) FROM tab_1;
SELECT `value` FROM tab_1 GROUP BY `value`;

SELECT DISTINCT(`value`) FROM tab_2;
SELECT `value` FROM tab_2 GROUP BY `value`;

SELECT DISTINCT(`value`) FROM tab_3;
SELECT `value` FROM tab_3 GROUP BY `value`;

SELECT DISTINCT(`value`) FROM tab_4;
SELECT `value` FROM tab_4 GROUP BY `value`;

4）實(shí)驗(yàn)結(jié)果

表名	記錄數(shù)	查詢字段有無索引	查詢字段不同值個數(shù)	DISTINCT	GROUP BY
tab_1	100000	N	3	0.058s	0.059s
tab_2	100000	Y	3	0.030s	0.027s
tab_3	100000	N	10000	0.072s	0.073s
tab_4	100000	Y	10000	0.047s	0.049s

實(shí)驗(yàn)結(jié)論

MySQL 5.7.17中使用distinct和group by進(jìn)行去重時，性能相差不大

實(shí)驗(yàn)過程及結(jié)論，如有不足之處，歡迎指正，此實(shí)驗(yàn)結(jié)論僅供參考。

總結(jié)

到此這篇關(guān)于MySQL去重中distinct和group by區(qū)別淺析的文章就介紹到這了,更多相關(guān)MySQL去重distinct和group by區(qū)別內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: