一、背景與意義

在傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中，執(zhí)行DDL操作時通常需要鎖定表，以防止數(shù)據(jù)不一致。然而，這種鎖定會導致表在DDL操作期間不可用，從而影響數(shù)據(jù)庫的可用性。MySQL原生Online DDL解決了這個問題，它允許DDL操作在表仍然可用時執(zhí)行，大大提高了數(shù)據(jù)庫的可用性，特別是對于需要24/7高可用性的應用來說，這是一個重要的特性。

二、工作機制

MySQL原生Online DDL的工作機制涉及多個步驟和內(nèi)部原理：

1. 準備階段

• 檢查與評估：在執(zhí)行DDL操作之前，MySQL會進行一系列的檢查和評估工作。這包括驗證DDL操作的語法正確性、檢查用戶權(quán)限以及評估所需資源等。
• 選擇執(zhí)行策略：根據(jù)DDL操作的類型和表的結(jié)構(gòu)，MySQL會選擇一個合適的執(zhí)行策略。這通常涉及決定是使用COPY算法、INPLACE算法還是INSTANT算法。

2. 執(zhí)行DDL操作

COPY算法：

• 創(chuàng)建臨時表：首先，MySQL會創(chuàng)建一個與原始表結(jié)構(gòu)相似的新臨時表。
• 數(shù)據(jù)拷貝：接著，原始表中的數(shù)據(jù)會被逐行拷貝到新的臨時表中。這個過程可能需要一些時間，具體取決于表的大小和系統(tǒng)的性能。
• 重命名與替換：數(shù)據(jù)拷貝完成后，臨時表會被重命名為原始表的名字，從而替換掉原始表。在這個過程中，原始表會被加上寫鎖，以阻止對數(shù)據(jù)進行修改，確保數(shù)據(jù)的一致性。

INPLACE算法：

• 直接修改：與COPY算法不同，INPLACE算法直接在原始表上進行修改，無需創(chuàng)建臨時表和拷貝數(shù)據(jù)。
• 記錄DML操作：在DDL操作執(zhí)行期間，如果有DML操作（如INSERT、UPDATE、DELETE）嘗試修改表，這些操作會被記錄下來。
• 應用DML更改：DDL操作完成后，之前記錄的DML更改會被應用到表上，確保數(shù)據(jù)的完整性和一致性。

INSTANT算法：

• 元數(shù)據(jù)修改：對于某些簡單的DDL操作（如修改表的默認字符集），INSTANT算法可以直接修改數(shù)據(jù)字典中的元數(shù)據(jù)，而無需對表數(shù)據(jù)進行任何更改。
• 無鎖操作：由于只修改元數(shù)據(jù)，因此這種算法可以在不鎖定表的情況下完成，實現(xiàn)了真正的“瞬間”完成DDL操作。

3. 完成與清理

• 釋放資源：DDL操作完成后，系統(tǒng)會釋放所有在操作過程中分配的資源，如臨時表、內(nèi)存等。
• 更新統(tǒng)計信息：MySQL會更新與表相關(guān)的統(tǒng)計信息，以便優(yōu)化器能夠更好地制定查詢計劃。
• 通知與日志記錄：操作完成后，系統(tǒng)會生成相應的日志記錄，以便在必要時進行恢復或?qū)徲嫛Ｍ瑫r，也可能通過某種機制（如觸發(fā)器）通知應用程序DDL操作的完成。

MySQL原生Online DDL通過不同的算法和策略來實現(xiàn)在線修改數(shù)據(jù)庫結(jié)構(gòu)的目標，從而提高了數(shù)據(jù)庫的可用性和靈活性。這些工作原理確保了即使在執(zhí)行DDL操作時，數(shù)據(jù)庫仍然能夠處理正常的DML操作，減少了停機時間和維護成本。

三、實現(xiàn)原理與優(yōu)化

在線DDL的核心實現(xiàn)原理涉及幾個關(guān)鍵環(huán)節(jié)，同時也有一些關(guān)鍵的優(yōu)化策略：

• 構(gòu)建臨時表：為了不影響原表的正常讀寫，系統(tǒng)會創(chuàng)建一個具備新結(jié)構(gòu)的臨時表。這一步驟為后續(xù)的DDL操作提供了基礎。
• 數(shù)據(jù)遷移與實時同步：舊表中的數(shù)據(jù)會被高效地遷移到臨時表中，同時確保數(shù)據(jù)的實時同步。這種遷移策略旨在保障DDL過程中數(shù)據(jù)的完整性和一致性，避免數(shù)據(jù)丟失或損壞。
• 變更追蹤與重播：利用日志機制，系統(tǒng)會追蹤DDL執(zhí)行期間舊表上的數(shù)據(jù)變更，并將這些變更實時重播到臨時表中。這一優(yōu)化確保了數(shù)據(jù)在DDL操作完成后的準確性。
• 無縫切換：當DDL操作完成且數(shù)據(jù)完全同步后，數(shù)據(jù)庫引擎會在合適的時機將臨時表提升為新表，從而實現(xiàn)無縫切換。此后，所有的讀寫操作都將基于新表進行。

四、使用場景與優(yōu)勢

MySQL原生Online DDL適用于多種場景，如添加或刪除列、修改數(shù)據(jù)類型、添加或刪除索引等。這些操作都可以在不中斷服務的情況下完成，大大提高了數(shù)據(jù)庫的靈活性和可用性。此外，由于Online DDL減少了停機時間，因此也降低了維護成本和數(shù)據(jù)丟失的風險。

五、使用約束與注意事項

盡管MySQL 5.7的在線DDL帶來了諸多便利，但在實際使用中仍需注意以下幾點：

• 操作支持范圍：并非所有類型的DDL操作都支持在線執(zhí)行。某些特定操作可能仍需要鎖定整張表，因此在執(zhí)行前需確認操作類型。
• 資源占用：DDL操作期間可能會顯著增加系統(tǒng)資源的消耗，特別是在數(shù)據(jù)遷移和同步階段。因此，在高負載環(huán)境下應謹慎規(guī)劃并執(zhí)行此類操作。
• 測試與驗證：為確保數(shù)據(jù)的完整性和業(yè)務的連續(xù)性，執(zhí)行在線DDL之前應進行充分的測試和驗證。這包括但不限于數(shù)據(jù)的備份、恢復以及一致性檢查等步驟。

六、鎖在Online DDL中的作用

在Online DDL過程中，鎖主要用于確保數(shù)據(jù)的一致性。不同類型的鎖對表的可訪問性有不同的影響：

• 共享鎖（S鎖）：允許多個事務讀取同一資源，但不允許寫入。在Online DDL中，這可能用于允許讀取操作繼續(xù)進行，同時阻止寫入操作。
• 排他鎖（X鎖）：阻止其他事務讀取或?qū)懭胭Y源。在DDL操作中，如果需要修改表的結(jié)構(gòu)或數(shù)據(jù)，則可能需要使用排他鎖。

ALGORITHM和LOCK選項

• 在MySQL中，你可以通過ALGORITHM和LOCK關(guān)鍵字來控制DDL操作的行為。

ALGORITHM選項

• INPLACE：這個選項指示MySQL直接在原表上進行修改，而不是創(chuàng)建一個新表。這通?？梢詼p少鎖的使用和時間，從而提高并發(fā)性。但是，并非所有的DDL操作都支持INPLACE算法。
• COPY：這個選項告訴MySQL創(chuàng)建一個新表，將原表的數(shù)據(jù)復制到新表中，然后在新表上執(zhí)行DDL操作。完成后，新表會替換原表。這個過程中，原表通常會被鎖定，以防止數(shù)據(jù)不一致。COPY算法通常需要更多的時間和資源。
• DEFAULT：如果不指定ALGORITHM選項，MySQL將選擇默認的行為。這通常是嘗試使用INPLACE算法，如果不可能，則回退到COPY算法。 LOCK選項
• NONE：這個選項指示MySQL在執(zhí)行DDL操作時不要對表加鎖（如果可能的話）。但是，如果DDL操作需要保證數(shù)據(jù)的一致性，MySQL可能會忽略這個選項并加鎖。
• SHARED：允許讀取操作繼續(xù)進行，但阻止寫入操作。
• EXCLUSIVE：阻止讀取和寫入操作。這是最強的鎖類型，用于確保DDL操作期間數(shù)據(jù)的一致性。

如何使用這些選項

• 當你想要執(zhí)行一個DDL操作時，你可以通過添加ALGORITHM和LOCK選項來控制操作的行為。例如：

ALTER TABLE tbl_name ADD COLUMN col_name col_type, ALGORITHM=INPLACE, LOCK=NONE;

這條命令嘗試在原地（INPLACE）添加一個新列，并且盡量不使用鎖（LOCK=NONE）。但是，需要注意的是，如果MySQL判斷無法保證數(shù)據(jù)的一致性而不使用鎖，它可能會忽略這些選項。

可以通過如下的SQL語句查看是否有事務和鎖等信息。

select * from information_schema.innodb_locks;

select * from information_schema.innodb_trx;

select * from information_schema.innodb_lock_waits;

select * from information_schema.processlist;

注意事項

不是所有的DDL操作都支持所有的ALGORITHM和LOCK組合。在執(zhí)行DDL操作之前，最好查閱MySQL的官方文檔以了解具體的支持情況。

即使指定了LOCK=NONE，MySQL也可能在必要時自動加鎖以確保數(shù)據(jù)的一致性。因此，這些選項應被視為指導性的，而不是強制性的。

更多online DDL原理,請移步 : Mysql Online DDL的使用詳解

到此這篇關(guān)于MySQL Online DDL原理解讀的文章就介紹到這了,更多相關(guān)MySQL Online DDL原理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論