今天同事A找到我，說是Mysql server X的負(fù)載很高，查詢很慢。他自己搗鼓了一陣未果后，我們一起看了下。

[root@redhat var]# uname -a
Linux xxx 2.6.18-128.el5 #1 SMP Wed Dec 17 11:41:38 EST 2008 x86_64 x86_64 x86_64 GNU/Linux

[root@redhat var]# mysql -u root -p -e “select version();”
+------------+
| version() |
+------------+
| 5.1.32-log |
+------------+

同事A的操作：
A一看mysql server有問題第一反應(yīng)是重啟mysql server，囧！！o(╯□╰)
但是又使用了錯(cuò)誤的命令

[root@redhat var]# /var/lib/mysql/libexec/mysqld restart ----操作①
100708 14:43:53 [ERROR] Fatal error: Please read "Security" section of the manual to find out how to run mysqld as root!
100708 14:43:53 [ERROR] Aborting
100708 14:43:53 [Note] /var/lib/mysql/libexec/mysqld: Shutdown complete

發(fā)現(xiàn)問題后，他又想起來應(yīng)該是用下面的命令重啟

[root@redhat var]# service mysql restart ----操作②
MySQL manager or server PID file could not be found! [FAILED]
Starting MySQL......

CTRL+C取消

這時(shí)候

[root@redhat var]# ps aux | grep mysql

可以看到，系統(tǒng)又啟動(dòng)了一個(gè)Mysql進(jìn)程，但是過一會(huì)后，會(huì)自動(dòng)消失，這時(shí)候看日志可以發(fā)現(xiàn)以下錯(cuò)誤：

100708 15:26:52 [ERROR] Can't start server: Bind on TCP/IP port: Address already in use
100708 15:26:52 [ERROR] Do you already have another mysqld server running on port: 30017 ?
100708 15:26:52 [ERROR] Aborting

然后后面我們一起看。
首先我用client工具連接，發(fā)現(xiàn)mysql正常。web應(yīng)用連接數(shù)據(jù)庫也正常只是查詢很慢。
其次我在命令下面，連接：

[root@redhat var]# mysql -u root -p

提示：

Enter password:
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

這時(shí)候同事A提醒我，可以重啟服務(wù)沒關(guān)系。囧，o(╯□╰)o，他在建議我重啟解決問題。
好吧，如他所愿。于是我先：

[root@redhat var]# service mysql stop
MySQL is running but PID file could not be found

然后去mysql data dir下面查看，果然沒有pid file。
這時(shí)候我的第一反應(yīng)是配置文件不對(duì)，導(dǎo)致不能正常停止和重啟。
由于server是好的，因此我沒有急著去比較以前備份的/etc/my.cnf.bak和/etc/my.cnf。
我們先查找負(fù)載高的原因。因?yàn)槊钚邢聼o法進(jìn)入mysql，在client下使用

可以看到里面有很多l(xiāng)ocked的查詢，其中等待時(shí)間最久的一個(gè)是一個(gè)select查詢，顯示正在sending data，然后其余都是locked。
猜想是sending data的線程占用了“所有的分配給mysql的資源”，導(dǎo)致后來的線程全部掛起，由于“查詢（線程）是依次執(zhí)行的”，后面locked的線程一直在等待前面sending data的線程結(jié)束。(這一段是猜想的…)
sending data的這個(gè)線程U是一個(gè)select 查詢，這個(gè)select對(duì)6張表進(jìn)行了連接（公司的一個(gè)實(shí)習(xí)生提交的一個(gè)查詢），其中有兩張表的數(shù)據(jù)量在10w左右，另外有張data表數(shù)據(jù)量在 1000w左右，另外還有sum(distinct ) ，group by，order by… 可以想象下…不知道要到何年何月這個(gè)查詢才能執(zhí)行完。
這個(gè)sending data的慢查詢的processid為799，當(dāng)機(jī)立斷運(yùn)行

然后再運(yùn)行

可以看到前面locked的線程在一個(gè)個(gè)依次執(zhí)行，后面還有好多個(gè)跟線程U類似的select線程，全部kill掉后，被堵塞的別的正常的幾個(gè)Update，select，insert操作很快就執(zhí)行完了。
而后，web應(yīng)用恢復(fù)正常，速度變快。
返回linux命令行，使用

[root@redhat var]# top
<shift+m 按內(nèi)存使用排序>
<1 顯示cpu使用情況>

這時(shí)候可以發(fā)現(xiàn)server負(fù)載恢復(fù)正常。

下面解決無法正常關(guān)閉重啟的情況。
也就是因?yàn)榍懊嫱碌恼`操作引起的

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
和MySQL manager or server PID file could not be found! [FAILED]

的錯(cuò)誤。
我前面不是懷疑是配置文件里面有什么無法識(shí)別的參數(shù)選項(xiàng)么。
通過

[root@redhat var]# diff /etc/my.cnf /etc/my.cnf.bak

發(fā)現(xiàn)，配置文件沒有問題。

#我的server的hostname，mysql pid文件默認(rèn)名字為hostname.pid，如果沒有在/etc/my.cnf里面指定特定和pid filename和pid file path的話，這個(gè)文件是跟mysql數(shù)據(jù)在一起的。

[root@redhat var]# diff /etc/my.cnf /etc/my.cnf.bak

這時(shí)候通過

#切換到mysql data dir（mysql的數(shù)據(jù)文件目錄下）
#你們的mysql data dir或許跟我的不一樣哦，我的是/var/lib/mysql/var/
[root@redhat var]# cd /var/lib/mysql/var/

獲取mysql用戶運(yùn)行的mysql進(jìn)程的 pid，然后導(dǎo)入到hostname.pid文件里面

[root@redhat var]# echo `ps aux | grep mysql | grep "user=mysql" | grep -v "grep" | awk '{print $2}'`>> redhat.pid
#注意這里的redhat.pid跟hostname相關(guān)，這里是我的hostname.pid

將文件的屬主和屬主組改為mysql:mysql

[root@redhat var]# chown mysql:mysql redhat.pid

然后運(yùn)行

[root@redhat var]# mysql -u root -p

還是會(huì)提示：

Enter password:
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

[root@redhat var]# ls /tmp | grep sock

果然沒有mysql.sock這個(gè)文件

但是這時(shí)候運(yùn)行

[root@redhat var]# service mysql status

顯示

MySQL running (10949) [ OK ]

恩，pid file文件恢復(fù)正常，然后運(yùn)行

[root@redhat var]# service mysql restart
Shutting down MySQL. [ OK ]
Starting MySQL. [ OK ]

這時(shí)候再運(yùn)行

[root@redhat var]# ls /tmp | grep sock

可以發(fā)現(xiàn)重啟后，/tmp下有了mysql.sock這個(gè)文件。

大家可以搜索下mysql.sock的用途以及使用產(chǎn)生等等。

同事A的 操作① 導(dǎo)致pid 文件丟失， 操作② 導(dǎo)致mysql.sock文件丟失，大家感興趣可以去vi mysqld腳本和server mysql腳本，然后導(dǎo)致service mysql status/stop/start/restart運(yùn)行異常，導(dǎo)致命令行下mysql -u root -p登錄mysql異常。

That's all.

最新評(píng)論