order?by?+?limit分頁(yè)時(shí)數(shù)據(jù)重復(fù)問(wèn)題及解決方法
問(wèn)題描述:MYSQL version 5.6.8command 表結(jié)構(gòu)
CREATE TABLE command ( ID INT NOT NULL, NAME VARCHAR(16), DESCRIPTION VARCHAR(32), INDEX idx_command_id (ID) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
表數(shù)據(jù)

order by + limit分頁(yè)查詢
查詢第1頁(yè)
select * from command order by age limit 0,4;

查詢第2頁(yè)
select * from command order by age limit 4,4;

可以看到第2頁(yè)中查出了第1頁(yè)中存在的重復(fù)數(shù)據(jù)
原因分析:
查看以上語(yǔ)句的執(zhí)行計(jì)劃

可以看到,order by limit時(shí)Mysql會(huì)進(jìn)行優(yōu)化,使用的是內(nèi)存中的filesort文件排序,in memory filesort 使用的是優(yōu)先級(jí)隊(duì)列(priority queue),優(yōu)先級(jí)隊(duì)列使用的二叉堆;
使用 priority queue 的目的,就是在不能使用索引有序性的時(shí)候,如果要排序,并且使用了limit n,那么只需要在排序的過(guò)程中,保留n條記錄即可這樣雖然不能解決所有記錄都需要排序的開(kāi)銷,但是只需要 sort buffer 少量的內(nèi)存就可以完成排序。
因此,在limit n時(shí),只會(huì)堆排序前n個(gè),且是不穩(wěn)定排序,因此并不能保證字段值相同時(shí)的相對(duì)順序,因此分頁(yè)時(shí)可能造成重復(fù);
MySQL 5.5 沒(méi)有這個(gè)優(yōu)化,所以也就不會(huì)出現(xiàn)這個(gè)問(wèn)題,5.6版本之后才出現(xiàn)了這種情況。
解決方案:
1. 新加一個(gè)排序字段,這個(gè)字段絕對(duì)有序,在第1個(gè)排序字段重復(fù)時(shí), 使用第2個(gè)字段排序
2. 利用索引的有序性,如給id加上主鍵約束,排序字段添加索引
explain select id,age from command order by age limit 4,4

可以看到查詢走了索引,排序就穩(wěn)定了,沒(méi)什么問(wèn)題
(3)一些常見(jiàn)的數(shù)據(jù)庫(kù)排序問(wèn)題
不加order by的時(shí)候的排序問(wèn)題
用戶在使用Oracle或MySQL的時(shí)候,發(fā)現(xiàn)MySQL總是有序的,Oracle卻很混亂,這個(gè)主要是因?yàn)镺racle是堆表,MySQL是索引聚簇表的原因。
所以沒(méi)有order by的時(shí)候,數(shù)據(jù)庫(kù)并不保證記錄返回的順序性,并且不保證每次返回都一致的。
分頁(yè)問(wèn)題
分頁(yè)重復(fù)的問(wèn)題
如前面所描述的,分頁(yè)是在數(shù)據(jù)庫(kù)提供的排序功能的基礎(chǔ)上,衍生出來(lái)的應(yīng)用需求,數(shù)據(jù)庫(kù)并不保證分頁(yè)的重復(fù)問(wèn)題。
到此這篇關(guān)于order by + limit分頁(yè)時(shí)數(shù)據(jù)重復(fù)的文章就介紹到這了,更多相關(guān)order by limit分頁(yè)時(shí)數(shù)據(jù)重復(fù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
MySQL分區(qū)建索引以及分區(qū)介紹總結(jié)
當(dāng)mysql一張數(shù)據(jù)表中的數(shù)據(jù)達(dá)到一定的量時(shí),在其中查詢某一個(gè)數(shù)據(jù),需要花費(fèi)大量的時(shí)間,下面這篇文章主要給大家介紹了關(guān)于MySQL分區(qū)建索引以及分區(qū)介紹的相關(guān)資料,需要的朋友可以參考下2022-04-04
Mysql數(shù)據(jù)庫(kù)分庫(kù)分表全面瓦解
物理服務(wù)機(jī)的CPU、內(nèi)存、存儲(chǔ)設(shè)備、連接數(shù)等資源有限,某個(gè)時(shí)段大量連接同時(shí)執(zhí)行操作,會(huì)導(dǎo)致數(shù)據(jù)庫(kù)在處理上遇到性能瓶頸。為了解決這個(gè)問(wèn)題,行業(yè)先驅(qū)門充分發(fā)揚(yáng)了分而治之的思想,對(duì)大庫(kù)表進(jìn)行分割2022-01-01
centos上安裝mysql并設(shè)置遠(yuǎn)程訪問(wèn)的操作方法
這篇文章主要介紹了centos上安裝mysql并設(shè)置遠(yuǎn)程訪問(wèn)的操作方法,需要的朋友可以參考下2017-11-11
Mysql中常用函數(shù)之分組,連接查詢功能實(shí)現(xiàn)
在MySQL中,函數(shù)可以進(jìn)行各種數(shù)據(jù)操作,如字符處理、數(shù)學(xué)計(jì)算和日期格式化等,單行函數(shù)處理單條數(shù)據(jù)記錄,而分組函數(shù)則處理多條數(shù)據(jù)記錄,本文給大家介紹Mysql中常用函數(shù)之分組,連接查詢功能實(shí)現(xiàn),感興趣的朋友一起看看吧2024-10-10
解決MySQL 5.7.9版本sql_mode=only_full_group_by問(wèn)題
這篇文章主要介紹了解決MySQL 5.7.9版本sql_mode=only_full_group_by問(wèn)題,需要的朋友可以參考下2017-05-05

