深入理解Mysql OnlineDDL的算法
MySQL 5.6 及以后版本(尤其是 InnoDB 存儲(chǔ)引擎)引入的一項(xiàng)極其重要的功能,它允許數(shù)據(jù)庫管理員在執(zhí)行 ALTER TABLE 操作時(shí),最大程度地減少對(duì)表鎖定和應(yīng)用程序可用性的影響。
核心目標(biāo): 在 DDL 操作進(jìn)行時(shí),允許對(duì)表進(jìn)行并發(fā)的讀?。⊿ELECT) 和寫入(INSERT, UPDATE, DELETE) 操作。
一、Online DDL 是什么?
Online DDL 是 MySQL 5.6 版本引入,并在后續(xù)版本中不斷增強(qiáng)的一項(xiàng)功能。它允許你在執(zhí)行數(shù)據(jù)定義語言(DDL)操作時(shí)(如 ALTER TABLE),盡可能地減少對(duì)表的鎖定時(shí)問,使得:
- 寫操作(DML):在 DDL 操作進(jìn)行的同時(shí),應(yīng)用程序依然可以對(duì)表執(zhí)行
INSERT,UPDATE,DELETE等操作,最大程度保證業(yè)務(wù)的連續(xù)性。 - 讀操作:
SELECT查詢通??梢哉_M(jìn)行,不受影響。
這與早期的 Copy Table 機(jī)制形成鮮明對(duì)比,早期方式需要全程鎖表,直到操作完成,對(duì)于大表來說意味著長(zhǎng)時(shí)間的停機(jī)。
二、Online DDL 的三種主要算法
MySQL 在執(zhí)行 DDL 時(shí),根據(jù)操作類型的不同,底層主要采用三種算法。理解這些算法是理解 Online DDL 的關(guān)鍵。
2.1COPY(復(fù)制法)
過程:
- 創(chuàng)建一個(gè)與原始表結(jié)構(gòu)相同的臨時(shí)表(
.frm,.ibd等文件)。 - 在新的臨時(shí)表上執(zhí)行 DDL 操作。
- 將原始表的數(shù)據(jù)逐行復(fù)制到臨時(shí)表中。
- 在此期間,對(duì)原始表的寫操作會(huì)被阻塞(通常只在數(shù)據(jù)拷貝的最后階段有短暫鎖表)。
- 數(shù)據(jù)復(fù)制完成后,用新的臨時(shí)表替換原始表,并刪除舊的表。
特點(diǎn):
- 需要兩倍的存儲(chǔ)空間。
- 過程中大部分時(shí)間會(huì)阻塞寫操作,影響業(yè)務(wù)。
- 是 MySQL 5.5 及之前版本的主要方式。
2.2 INPLACE (原地法)
過程:
無需創(chuàng)建臨時(shí)表文件,直接在原始表的存儲(chǔ)文件(如 InnoDB 的 .ibd 文件)上進(jìn)行操作。
通常分為兩個(gè)階段:
- 準(zhǔn)備階段(Prepare):創(chuàng)建新的.frm文件,準(zhǔn)備數(shù)據(jù)字典更改。可能需要短暫的排他鎖(X鎖)。
- 執(zhí)行階段(Execute):應(yīng)用更改到存儲(chǔ)引擎,這通常是操作中最耗時(shí)的部分。在此階段,允許并發(fā)的DML操作。
特點(diǎn):
- 所需磁盤空間遠(yuǎn)少于 COPY 算法(通常只需要日志文件的空間)。
- 允許在執(zhí)行階段進(jìn)行并發(fā) DML,大大減少了鎖表時(shí)間。
2.3INSTANT (即刻法,MySQL 8.0+)
過程:
- 操作只修改數(shù)據(jù)字典(元數(shù)據(jù)),而不觸及表中的實(shí)際數(shù)據(jù)或索引。
- 例如,添加一個(gè)可為
NULL且有默認(rèn)值的列,只需要在數(shù)據(jù)字典中記錄一下“這個(gè)表有這個(gè)列,默認(rèn)值是什么”,而不需要重建表或復(fù)制數(shù)據(jù)。
特點(diǎn):
- 速度極快,通常能在毫秒級(jí)完成。
- 完全不阻塞任何 DML 操作,是真正的“Online”。
- 對(duì)存儲(chǔ)空間沒有額外要求。
三、Online DDL 的鎖機(jī)制
即使是 INPLACE 算法,也并非全程無鎖。Online DDL 涉及兩種主要的鎖:
- SHARED鎖(讀鎖):在 DDL 的準(zhǔn)備階段,可能會(huì)短暫地獲取。允許其他會(huì)話讀,但阻塞寫。
- EXCLUSIVE鎖(寫鎖/排他鎖):在 DDL 的開始(準(zhǔn)備階段)和結(jié)束(提交階段)可能會(huì)短暫地獲取。此時(shí)會(huì)阻塞所有其他的讀和寫操作。
關(guān)鍵點(diǎn):Online DDL 的“Online”體現(xiàn)在其耗時(shí)的數(shù)據(jù)拷貝/重建階段(Execute階段)是不鎖表的,而只在元數(shù)據(jù)變更的瞬間需要短暫的排他鎖。這個(gè)瞬間通常非常短,可以忽略不計(jì)。
四 關(guān)鍵區(qū)別
| 特性 | COPY | INPLACE | INSTANT |
|---|---|---|---|
| 核心方式 | 重建整個(gè)表 | 原地修改,避免重建整個(gè)表 | 僅修改元數(shù)據(jù) |
| 鎖表時(shí)間 | 長(zhǎng) (全程鎖或長(zhǎng)寫鎖) | 短 (準(zhǔn)備/提交鎖) | 極短 (毫秒級(jí)元數(shù)據(jù)鎖) |
| 執(zhí)行階段 | 不允許讀寫 | 允許并發(fā)讀寫 | 允許并發(fā)讀寫 |
| 空間占用 | 雙倍表空間 | 額外日志/臨時(shí)文件空間 | 幾乎無額外空間 |
| 速度 | 慢 | 中等 (取決于操作復(fù)雜度) | 極快 (毫秒級(jí)) |
| 并發(fā)影響 | 高 (停機(jī)) | 低 (短暫阻塞寫) | 極低 (幾乎無感知) |
| 主要優(yōu)勢(shì) | 兼容性 | 平衡性能和并發(fā) | 瞬時(shí)完成,零感知 |
| 典型操作 | 部分無法 INPLACE 的操作 (如刪除主鍵) | 添加/刪除索引、修改列屬性等 | 添加/刪除列 (有條件)、改默認(rèn)值 |
4.1 生動(dòng)的比喻:給飛行中的飛機(jī)換引擎
想象一下,你要給一架正在飛行的飛機(jī)更換引擎(這相當(dāng)于對(duì)數(shù)據(jù)庫表做 ALTER TABLE)。
COPY 算法:讓所有乘客下飛機(jī)(阻塞 DML),把飛機(jī)拖進(jìn)機(jī)庫,拆下舊引擎,換上新引擎,最后再讓乘客登機(jī)。在此期間,飛機(jī)完全停運(yùn)。
INPLACE 算法:
- 準(zhǔn)備階段 (Prepare):工程師們做好所有準(zhǔn)備工作:新引擎運(yùn)到機(jī)場(chǎng),所有工具就位。這需要飛機(jī)短暫地保持靜止(短暫的排他鎖)。
- 執(zhí)行階段 (Execute):飛機(jī)保持飛行狀態(tài)(允許并發(fā) DML)。工程師們掛在機(jī)翼上,開始拆卸舊引擎,同時(shí)安裝新引擎。乘客們(DML 操作)仍然可以在機(jī)艙內(nèi)正常走動(dòng)、點(diǎn)餐(
INSERT,UPDATE,DELETE)。 - 提交階段:新引擎安裝完畢,最后進(jìn)行一個(gè)極其快速的切換和檢查,確保新引擎完全接管工作。這又需要飛機(jī)瞬間的靜止(短暫的排他鎖)。
4.2 如何指定和查看算法
指定算法: 在 ALTER TABLE 語句中使用 ALGORITHM 子句。
ALTER TABLE your_table ADD COLUMN new_col INT, ALGORITHM=INSTANT; -- 嘗試強(qiáng)制使用 INSTANT ALTER TABLE your_table ADD INDEX idx_name (col_name), ALGORITHM=INPLACE, LOCK=NONE; -- 嘗試強(qiáng)制 INPLACE 且無鎖
ALGORITHM=DEFAULT:讓 MySQL 選擇它認(rèn)為最高效的可用算法。ALGORITHM=COPY | INPLACE | INSTANT:強(qiáng)制使用特定算法。如果該算法不支持此操作,語句會(huì)報(bào)錯(cuò)。
指定鎖策略: 使用 LOCK 子句。
ALTER TABLE ... LOCK=NONE; -- 盡可能允許并發(fā)讀寫 (最高并發(fā)) ALTER TABLE ... LOCK=SHARED; -- 允許讀,阻塞寫 ALTER TABLE ... LOCK=EXCLUSIVE; -- 阻塞讀寫 (傳統(tǒng)方式) ALTER TABLE ... LOCK=DEFAULT; -- 讓 MySQL 選擇最小必要的鎖策略
指定的 LOCK 級(jí)別必須兼容于操作本身支持的級(jí)別。例如,一個(gè)操作在 INPLACE 執(zhí)行階段允許 LOCK=NONE,但你強(qiáng)制指定 LOCK=EXCLUSIVE 是允許的(雖然不推薦)。反之,如果操作本身在某個(gè)階段必須短暫加 EXCLUSIVE 鎖,你指定 LOCK=NONE 會(huì)導(dǎo)致語句失敗。
查看算法和鎖: 執(zhí)行 ALTER TABLE 前,使用 ALTER TABLE ... ALGORITHM=INPLACE, LOCK=NONE 并加上 NO_WRITE_TO_BINLOG 和 COMMIT 子句通常不會(huì)真正執(zhí)行,MySQL 會(huì)檢查并報(bào)告它將使用的算法和鎖。更好的方法是查詢 INFORMATION_SCHEMA.INNODB_TABLES 或使用 SHOW CREATE TABLE 觀察進(jìn)度(對(duì)于長(zhǎng)時(shí)間操作),或者直接執(zhí)行后觀察輸出信息(很多客戶端會(huì)顯示使用的算法)。最準(zhǔn)確的是查看官方文檔對(duì)具體操作的支持矩陣。
4.3 重要注意事項(xiàng)
- 并非所有 DDL 都是 Online 的: 即使使用 INPLACE 算法,部分操作在準(zhǔn)備或提交階段也需要短暫的排他鎖 (
EXCLUSIVE)。一些操作(如修改主鍵、修改某些列的數(shù)據(jù)類型、更改表字符集等)可能仍然需要 COPY 算法或更長(zhǎng)時(shí)間的鎖。務(wù)必查閱官方文檔對(duì)應(yīng)版本的 Online DDL 支持矩陣。 - 空間與性能: INPLACE 操作雖然避免了重建整個(gè)表,但可能涉及大量的數(shù)據(jù)重組、日志記錄、排序操作,仍然會(huì)消耗大量 I/O 和 CPU 資源,可能影響系統(tǒng)性能。INSTANT 操作在這方面開銷最小。
- 復(fù)制: Online DDL 在 MySQL 復(fù)制環(huán)境(主從)中的行為也需要考慮。通常在主庫上執(zhí)行的 Online DDL,其效果也會(huì)在從庫上以類似的方式應(yīng)用(可能也是 Online 的,取決于從庫版本和設(shè)置)。
- 元數(shù)據(jù)鎖 (MDL): 即使算法本身允許并發(fā) DML,長(zhǎng)時(shí)間的 DDL 操作也可能因?yàn)槌钟?MDL 而阻塞后續(xù)需要獲取沖突 MDL 的其他 DDL 或某些事務(wù)。
LOCK=NONE的目標(biāo)就是最小化 MDL 沖突。 - INSTANT 的限制: INSTANT 算法雖然強(qiáng)大,但有諸多限制(列的位置、數(shù)據(jù)類型、索引類型、表格式等),且限制隨版本更新而變化。使用前務(wù)必確認(rèn)操作是否支持
ALGORITHM=INSTANT。 - 版本差異: Online DDL 的支持程度和具體行為在不同 MySQL 版本(5.6, 5.7, 8.0)和 InnoDB 版本中有顯著差異。強(qiáng)烈建議參考對(duì)應(yīng)版本的官方文檔。
三、總結(jié)
MySQL 的 Online DDL 通過 COPY, INPLACE, INSTANT 三種算法,極大地提升了 DDL 操作的并發(fā)性和可用性。尤其是 INSTANT 算法(MySQL 8.0+)對(duì)于支持的列操作實(shí)現(xiàn)了近乎瞬時(shí)的變更,對(duì)在線業(yè)務(wù)影響最小。INPLACE 算法則是大多數(shù)索引和列操作的主力,在執(zhí)行階段允許并發(fā)讀寫。COPY 算法作為最后的選擇,應(yīng)盡量避免。
最佳實(shí)踐:
- 優(yōu)先使用 MySQL 8.0+ 以獲得最完善的 INSTANT 支持。
- 在執(zhí)行 DDL 前,務(wù)必查閱官方文檔,明確該操作在你的 MySQL 版本上支持的算法和鎖定行為。
- 在
ALTER TABLE語句中顯式指定ALGORITHM和LOCK子句(如ALGORITHM=INSTANT, LOCK=NONE),讓 MySQL 在無法滿足要求時(shí)報(bào)錯(cuò),而不是默默使用低效的方式。 - 對(duì)于大表操作,即使使用 INPLACE,也應(yīng)在業(yè)務(wù)低峰期進(jìn)行,并監(jiān)控服務(wù)器資源(I/O, CPU, Memory)。
- 充分利用
INSTANT算法進(jìn)行高頻次的表結(jié)構(gòu)變更(如快速加列)。
到此這篇關(guān)于深入理解Mysql OnlineDDL的算法的文章就介紹到這了,更多相關(guān)Mysql OnlineDDL 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
虛擬機(jī)Centos7安裝MySQL數(shù)據(jù)庫實(shí)踐
用戶分享在虛擬機(jī)安裝MySQL的全過程及常見問題解決方案,包括處理GPG密鑰、修改密碼策略、配置遠(yuǎn)程訪問權(quán)限及防火墻設(shè)置,最終通過關(guān)閉防火墻和停止NetworkManager解決網(wǎng)絡(luò)連接異常問題2025-07-07
mysql 數(shù)據(jù)庫鏈接狀態(tài)確認(rèn)實(shí)驗(yàn)(推薦)
這篇文章主要介紹了mysql 數(shù)據(jù)庫鏈接狀態(tài)確認(rèn)實(shí)驗(yàn),通過本文我選擇 了三種方案給大家詳細(xì)講解,結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
MySQL CTE (Common Table Expressions)示例全解
MySQL 8.0引入CTE,支持遞歸查詢,可創(chuàng)建臨時(shí)命名結(jié)果集,提升復(fù)雜查詢的可讀性與維護(hù)性,適用于層次結(jié)構(gòu)數(shù)據(jù)處理,但需注意性能和遞歸深度限制,本文給大家介紹MySQL CTE (Common Table Expressions)示例,感興趣的朋友一起看看吧2025-07-07
幾個(gè)常見的MySQL的可優(yōu)化點(diǎn)歸納總結(jié)
這篇文章主要介紹了幾個(gè)常見的MySQL的可優(yōu)化點(diǎn)歸納總結(jié),包括在編程時(shí)處理索引、分頁以及數(shù)據(jù)類型時(shí)可用到的地方,需要的朋友可以參考下2015-05-05
MySQL實(shí)現(xiàn)Upsert(Update or Insert)功能
在數(shù)據(jù)庫操作中,經(jīng)常會(huì)遇到這樣的需求,當(dāng)某條記錄不存在時(shí),需要插入一條新的記錄,如果該記錄已經(jīng)存在,則需要更新這條記錄的某些字段,即Upsert,下面我們就來看看如何在MySQL中實(shí)現(xiàn)這一功能2025-07-07
mysql定時(shí)任務(wù)(event事件)實(shí)現(xiàn)詳解
這篇文章主要介紹了mysql定時(shí)任務(wù)(event事件)實(shí)現(xiàn)詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08

