MySql更新優(yōu)化策略
模擬場景一：
給數(shù)據(jù)庫中的一張表的結(jié)構(gòu)調(diào)整，添加幾個字段，后面對之前的數(shù)據(jù)進行刷新，刷新的內(nèi)容是對其中的一個已有字段url進行匹配，然后更新新加的字段type和typeid。
后來就寫了個shell腳本來刷數(shù)據(jù)，結(jié)果運行shell腳本后我就懵了，怎么這么慢~~~
情景再現(xiàn)
CREATE TABLE `fuckSpeed` (
`uin` bigint(20) unsigned NOT NULL DEFAULT 0,
`id` int(11) unsigned NOT NULL DEFAULT 0,
`url` varchar(255) NOT NULL DEFAULT '',
`type` int(11) unsigned NOT NULL DEFAULT 0,
`typeid` varchar(64) NOT NULL DEFAULT '',
......
KEY `uin_id` (`uin`,`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
表結(jié)構(gòu)大概是上面這樣的（省略了好多字段），表中只有一個聯(lián)合索引uin_id，而我在更新的時候是下面的思路：
首先根據(jù)一個id范圍獲取到一定數(shù)量的數(shù)據(jù)
select id,url from funkSpeed where id>=101 and id<=200;
遍歷所有的數(shù)據(jù)，對每一條數(shù)據(jù)進行更新
#首先對數(shù)據(jù)進行處理，匹配獲取type和typeid
update fuckSpeed set type=[type],typeid=[typeid] where id=[id]
按照上面的思路搞了之后，發(fā)現(xiàn)更新特別的慢，平均每秒鐘3~5個左右，我也是醉了，我看看要更新的數(shù)據(jù)，總共有32w+條，這樣更新下來大概需要24h+，也就是1天還要多，額~~哭了，想想肯定是哪里出問題了。
發(fā)現(xiàn)問題
首先我想到的是是不是因為只有一個進程在更新，導(dǎo)致很慢，我啟動了5個進程，將id分段了，就像下面這樣
./update_url.sh 0 10000 &
./update_url.sh 10000 20001 &
./update_url.sh 20001 30001 &
./update_url.sh 30002 40002 &
./update_url.sh 40003 50003 &
運行之后發(fā)現(xiàn)還是那樣，速度沒有提升多少，還是每秒鐘更新3~5個左右，想想也是啊，時間不可能花費在插入數(shù)據(jù)之前的那些步驟（匹配、組裝sql語句、。。。），應(yīng)該是插入的時候有問題
再來看看我的sql語句
select id,url from funkSpeed where id>=101 and id<=200;，
這里，試著在命令行執(zhí)行了下，結(jié)果如下
mysql> select id,url from funkSpeed where id>=0 and id<=200;
Empty set (0.18 sec)
竟然花了0.18秒，這個時候我猜恍然大悟，聯(lián)合索引我沒有使用到，聯(lián)合索引生效的條件是——必須要有左邊的字段，用explain驗證下，果然是這樣：
mysql> explain id,url from funkSpeed where id>=0 and id<=200;
+-------------+------+---------------+------+---------+------+--------+-------------+
| table | type | possible_keys | key | key_len | ref | rows | Extra |
+-------------+------+---------------+------+---------+------+--------+-------------+
| funkSpeed | ALL | NULL | NULL | NULL | NULL | 324746 | Using where |
+-------------+------+---------------+------+---------+------+--------+-------------+
1 row in set (0.00 sec)
然后使用聯(lián)合索引：
mysql> select uin,id from funkSpeed where uin=10023 and id=162;
+------------+----------+
| uin | id |
+------------+----------+
| 10023 | 162 |
+------------+----------+
1 row in set (0.00 sec)
mysql> explain select uin,id from funkSpeed where uin=10023 and id=162;
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| table | type | possible_keys | key | key_len | ref | rows | Extra |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| funkSpeed | ref | uin_id | uin_id | 12 | const,const | 4 | Using index |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
1 row in set (0.00 sec)
可以看到幾乎是秒查，這個時候基本可以斷定問題是出現(xiàn)在索引這個地方了
我select的時候次數(shù)比較少，每兩個select之間id相差10000，所以這里可以忽略掉，而且這里沒辦法優(yōu)化，除非在id上面添加索引。
問題發(fā)生在
update fuckSpeed set type=[type],typeid=[typeid] where id=[id]
這里在更新的時候也是會用到查詢的，我的mysql版本是5.5，不能explain update，不然肯定可以驗證我所說的，這里要更新32w+條數(shù)據(jù)，每條數(shù)據(jù)都會去更新，每條數(shù)據(jù)0.2s左右，這太嚇人了~~
解決問題
問題找到了，解決起來就容易多了~~
select的時候加了一個字段uin，改為下面這樣
select uin,id,url from funkSpeed where id>=101 and id<=200;
然后更新的時候使用
update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]
這樣一來索引就是用上了。
三下五除二改好了代碼，試著啟動了一個進程，看看效果如何，果然，效果提升的不是一點點，平均30+次/s，這樣大概3個小時左右就可以完成所有的更新了。
模擬場景二：
需求6個表 pid字段 寫到對應(yīng)的brand_id字段
問題sql背景：項目有6個表的要根據(jù)pid字段要寫入對應(yīng)的brand_id字段。但是這個其中有兩個表是千萬級別的。我的worker運行之后，線上的mysql主從同步立刻延遲了！運行了一個多小時之后，居然延遲到了40分鐘，而且只更新了十幾萬行數(shù)據(jù)。問題sql如下：
<!-- 根據(jù)商品id更新品牌id -->
<update id="updateBrandIdByPid" parameterClass="com.jd.chat.worker.domain.param.UpdateBrandIdParam">
UPDATE $tableName$
SET brand_id = #newBrandId#
WHERE pid = #pid#
AND brand_id = 0
</update>
項目組的mysql專家?guī)臀曳治隽讼?，因為pid字段沒有索引，mysql引擎要逐行掃描出與傳入的pid值相等的列，然后更新數(shù)據(jù)，也就是要掃描完1000W+行磁盤數(shù)據(jù)才能執(zhí)行完這個sql。更嚴重的是，這個千萬級的表里面有多少個不同的pid，我就要執(zhí)行多少個這樣的sql。
同事給我的建議的根據(jù)id字段進行sql代碼層次的縱向分表。每次更新1000行的數(shù)據(jù)，這樣mysql引擎就不用每次在掃全表了，數(shù)據(jù)庫壓力是之前的萬分之一。而且id作為主鍵，是有索引的有索引，有索引能大大優(yōu)化查詢性能，優(yōu)化后的sql如下：
<!-- 根據(jù)商品id更新品牌id -->
<update id="updateBrandIdByPid" parameterClass="com.jd.chat.worker.domain.param.UpdateBrandIdParam">
UPDATE $tableName$
SET brand_id = #newBrandId#
WHERE pid = #pid#
AND brand_id = 0
AND id BETWEEN #startNum# AND #endNum#
</update>
僅僅用了id限區(qū)間的語句，將一個千萬級的大表代碼層次上進行縱向切割。重新上線worker后，mysql主從沒有任何延遲！而且經(jīng)過監(jiān)視，短短10分鐘就更新了十幾萬數(shù)據(jù)，效率是之前的6倍！更重要的是數(shù)據(jù)庫負載均衡，應(yīng)用健康運行。
以上通過兩個問題模擬場景再現(xiàn)分析MySql更新優(yōu)化策略，希望對大家在數(shù)據(jù)庫方面有所幫助。
相關(guān)文章
用非動態(tài)SQL Server SQL語句來對動態(tài)查詢進行執(zhí)行
此文章主要向大家講述的是非動態(tài)SQL ServerSQL語句執(zhí)行動態(tài)查詢，在實際操作中我嘗試在一個存儲過程中，來進行傳遞一系列以逗號劃定界限的值，來對結(jié)果集進行限制。但是無論什么時候，我在IN子句中使用變量，都會得到錯誤信息2017-06-06
sqlserver數(shù)據(jù)庫主鍵的生成方式小結(jié)(sqlserver,mysql)
嚴格講這三種產(chǎn)生方式有一定的交叉點，其定位方式將在下面進行講解2012-07-07
本節(jié)主要介紹了SQL-ORDER BY 多字段排序包括升序、降序，下面有個示例，大家可以參考下2014-07-07
本文將介紹三種批量插入數(shù)據(jù)的方法,需要的朋友可以參考下2013-10-10
關(guān)于重新組織和重新生成索引sp_RefreshIndex的介紹
本篇文章小編為大家介紹，關(guān)于重新組織和重新生成索引sp_RefreshIndex的介紹。需要的朋友參考下2013-04-04
SQLSERVER收集語句運行的統(tǒng)計信息并進行分析
例如語句的編譯時間、執(zhí)行時間、做了多少次磁盤讀等,如果DBA能夠把問題語句單獨測試運行，可以在運行前打開下面這三個開關(guān)，收集語句運行的統(tǒng)計信息。這些信息對分析問題很有價值,感興趣的朋友可以了解下2013-01-01
SqlServer系統(tǒng)數(shù)據(jù)庫的作用深入了解
至于SqlServer系統(tǒng)數(shù)據(jù)庫的作用可以從以下幾個部分介紹下:Master/Model/Tempdb/Distribution/Msdb;感興趣的你可以參考下哦，不妨可以充充電了2013-02-02
SQLServer 參數(shù)化查詢經(jīng)驗分享
本篇文章將介紹參數(shù)化查詢。我將討論如果一個查詢可以被參數(shù)化，那么SQL Server優(yōu)化器怎樣嘗試將其參數(shù)化，以及你可以怎樣建立你自己的參數(shù)化查詢。2010-05-05
這篇文章介紹了SQL Server中的文件和文件組，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-05-05
這篇文章介紹了Sqlserver 表類型和表變量，有需要的朋友可以參考一下2013-09-09